《线性代数的本质》 - 3blue1brown
In the beginning Grant created the space. And Grant said, Let there be vector: and there was vector.
三维几何空间中的一个有向线段称为向量 (vector)。本文统一用 a , b , c , k , λ a,b,c,k,\lambda a , b , c , k , λ u , v , w , a , b , x \mathbf u,\mathbf v,\mathbf w,\mathbf a,\mathbf b,\mathbf x u , v , w , a , b , x
向量通常定义两种运算：加法和数乘。加法遵循三角形法则(平行四边形法则)，数乘被称为缩放(scaling)。运算法则如下图
性质 ：根据向量的几何性质可证明向量的加法和数乘满足以下八条性质：
加法交换律：v + w = w + v \mathbf v+\mathbf w=\mathbf w+\mathbf v v + w = w + v
加法结合律：u + ( v + w ) = ( u + v ) + w \mathbf u+(\mathbf v+\mathbf w)=(\mathbf u+\mathbf v)+\mathbf w u + ( v + w ) = ( u + v ) + w
加法单位元：∃ 0 ∈ V , 0 + v = v \exists 0\in V,\ 0+\mathbf v=\mathbf v ∃ 0 ∈ V , 0 + v = v
加法逆元：∃ ( − v ) ∈ V , v + ( − v ) = 0 \exists (-\mathbf v)\in V,\ \mathbf v+(-\mathbf v)=0 ∃ ( − v ) ∈ V , v + ( − v ) = 0
数乘结合律：a ( b v ) = ( a b ) v a(b\mathbf v)=(ab)\mathbf v a ( b v ) = ( a b ) v
数乘分配律：a ( v + w ) = a v + a w a(\mathbf v+\mathbf w)=a\mathbf v+a\mathbf w a ( v + w ) = a v + a w
数乘分配律：( a + b ) v = a v + b v (a+b)\mathbf v=a\mathbf v+b\mathbf v ( a + b ) v = a v + b v
数乘单位元：∃ 1 ∈ F , 1 v = v \exists 1\in\mathbb F,\ 1\mathbf v=\mathbf v ∃ 1 ∈ F , 1 v = v
向量空间是三维几何空间向高维空间的推广。线性代数中，每个向量都以坐标原点为起点，那么任何一个向量就由其终点唯一确定。从而，向量和空间中的点一一对应。因此，空间也可以看成由所有向量组成的集合，并且集合中的元素可以进行加法和数乘运算。于是，便有了向量空间的抽象定义。
向量空间 ： 设 V V V n n n 非空集合 ，F \mathbb F F V V V V V V F F F 向量空间 (vector space)。所谓封闭是指
∀ v , w ∈ V , v + w ∈ V \forall\mathbf v,\mathbf w\in V,\ \mathbf v+\mathbf w\in V ∀ v , w ∈ V , v + w ∈ V ∀ v ∈ V , c ∈ F , c v ∈ V \forall\mathbf v\in V, c\in F,\ c\mathbf v\in V ∀ v ∈ V , c ∈ F , c v ∈ V
线性代数中的数域通常取全体实数，即 F = R \mathbb F=\R F = R
例如：n n n
R n = { x = ( x 1 , x 2 , ⋯ , x n ) ∣ x 1 , x 2 , ⋯ , x n ∈ R } \R^n=\{\mathbf x=(x_1,x_2,\cdots,x_n)\mid x_1,x_2,\cdots,x_n\in\R\}
R n = { x = ( x 1 , x 2 , ⋯ , x n ) ∣ x 1 , x 2 , ⋯ , x n ∈ R }
子空间 ：设 U U U V V V U U U U U U V V V 子空间 。
仿照解析几何的基本方法，建立一个坐标系，实现空间内的点与有序实数对一一对应，从而空间内的向量与有序实数对也一一对应，这样就可以用代数方法来研究向量的性质。
为方便建立空间的坐标系，先定义几个概念。
定义 ：取向量空间 V V V a 1 , a 2 , ⋯ , a r \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_r a 1 , a 2 , ⋯ , a r
向量 x 1 a 1 + x 2 a 2 + ⋯ + x r a r x_1\mathbf a_1+x_2\mathbf a_2+\cdots+x_r\mathbf a_r x 1 a 1 + x 2 a 2 + ⋯ + x r a r 线性组合 (linear combination)
向量组的所有线性组合构成的向量集称为由该向量组张成的空间，记作
span { a 1 , ⋯ , a n } = { x 1 a 1 + ⋯ + x n a n ∣ x 1 , ⋯ , x n ∈ R } \text{span}\{\mathbf a_1,\cdots,\mathbf a_n\}=\{x_1\mathbf a_1+\cdots+x_n\mathbf a_n\mid x_1,\cdots,x_n\in\R\}
span { a 1 , ⋯ , a n } = { x 1 a 1 + ⋯ + x n a n ∣ x 1 , ⋯ , x n ∈ R }
如下图，若 u , v ∈ R 3 \mathbf u,\mathbf v\in\R^3 u , v ∈ R 3 span { u , v } \text{span}\{\mathbf u,\mathbf v\} span { u , v } R 3 \R^3 R 3 u , v \mathbf u,\mathbf v u , v
当且仅当系数 x 1 = x 2 = ⋯ = x r = 0 x_1=x_2=\cdots=x_r=0 x 1 = x 2 = ⋯ = x r = 0
x 1 a 1 + x 2 a 2 + ⋯ + x r a r = 0 x_1\mathbf a_1+x_2\mathbf a_2+\cdots+x_r\mathbf a_r=0
x 1 a 1 + x 2 a 2 + ⋯ + x r a r = 0
则称向量组线性无关 (linearly independence)。反之，如果存在不全为零的数使上式成立，则称向量组线性相关 (linearly dependence)。
定理 ：若向量 v \mathbf v v a 1 , a 2 , ⋯ , a r \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_r a 1 , a 2 , ⋯ , a r
证明：设向量v \mathbf v v
b = k 1 a 1 + k 2 a 2 + ⋯ + k r a r b = l 1 a 1 + l 2 a 2 + ⋯ + l r a r \mathbf b=k_1\mathbf a_1+k_2\mathbf a_2+\cdots+k_r\mathbf a_r \\
\mathbf b=l_1\mathbf a_1+l_2\mathbf a_2+\cdots+l_r\mathbf a_r
b = k 1 a 1 + k 2 a 2 + ⋯ + k r a r b = l 1 a 1 + l 2 a 2 + ⋯ + l r a r
则有
( k 1 − l 1 ) a 1 + ( k 1 − l 2 ) a 2 + ⋯ + ( k 1 − l r ) a r = 0 (k_1-l_1)\mathbf a_1+(k_1-l_2)\mathbf a_2+\cdots+(k_1-l_r)\mathbf a_r=0
( k 1 − l 1 ) a 1 + ( k 1 − l 2 ) a 2 + ⋯ + ( k 1 − l r ) a r = 0
因为 a 1 , a 2 , ⋯ , a r \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_r a 1 , a 2 , ⋯ , a r
k 1 − l 1 = k 1 − l 1 = ⋯ = k 1 − l 1 = 0 k_1-l_1=k_1-l_1=\cdots=k_1-l_1=0
k 1 − l 1 = k 1 − l 1 = ⋯ = k 1 − l 1 = 0
即表示系数是唯一的。
接下来，我们自然想用一组线性无关的向量来张成整个向量空间。
向量空间的基 ：张成向量空间V V V 基 (basis)。基向量组所含向量的个数，称为向量空间 V V V 维数 (dimension)，记为 dim V \dim V dim V
可以证明，向量空间的任意一组基的向量个数是相等的。{ 0 } \{0\} { 0 } 零空间 。零空间的维数定义为零。
基定理 ：n n n n n n
向量空间选定了基向量后，空间中全体向量的集合与全体有序实数组的集合之间就建立了一一 对应的关系。
坐标 ：设向量组 a 1 , a 2 , ⋯ , a n \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n a 1 , a 2 , ⋯ , a n V V V v ∈ V \mathbf v\in V v ∈ V
v = x 1 a 1 + x 2 a 2 + ⋯ + x n a n \mathbf v=x_1\mathbf a_1+x_2\mathbf a_2+\cdots+x_n\mathbf a_n
v = x 1 a 1 + x 2 a 2 + ⋯ + x n a n
有序数组 x 1 , x 2 , ⋯ , x n x_1,x_2,\cdots,x_n x 1 , x 2 , ⋯ , x n v \mathbf v v a 1 , a 2 , ⋯ , a n \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n a 1 , a 2 , ⋯ , a n 坐标 ，一般记作
[ x 1 x 2 ⋮ x n ] or ( x 1 , x 2 , ⋯ , x n ) \begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}\quad \text{or}\quad
(x_1,x_2,\cdots,x_n)
⎣ ⎢ ⎢ ⎢ ⎡ x 1 x 2 ⋮ x n ⎦ ⎥ ⎥ ⎥ ⎤ or ( x 1 , x 2 , ⋯ , x n )
类似于三维几何空间，由n n n n n n
例：设 v 1 = [ 3 6 2 ] , v 2 = [ − 1 0 1 ] , x = [ 3 12 7 ] \mathbf v_1=\begin{bmatrix}3\\6\\2\end{bmatrix},\mathbf v_2=\begin{bmatrix}-1\\0\\1\end{bmatrix},\mathbf x=\begin{bmatrix}3\\12\\7\end{bmatrix} v 1 = ⎣ ⎡ 3 6 2 ⎦ ⎤ , v 2 = ⎣ ⎡ − 1 0 1 ⎦ ⎤ , x = ⎣ ⎡ 3 1 2 7 ⎦ ⎤ x \mathbf x x H = span { v 1 , v 2 } H=\text{span }\{\mathbf v_1,\mathbf v_2\} H = span { v 1 , v 2 } x \mathbf x x B = { v 1 , v 2 } B=\{\mathbf v_1,\mathbf v_2\} B = { v 1 , v 2 }
解：如果 x \mathbf x x H = span { v 1 , v 2 } H=\text{span }\{\mathbf v_1,\mathbf v_2\} H = span { v 1 , v 2 }
c 1 [ 3 6 2 ] + c 2 [ − 1 0 1 ] = [ 3 12 7 ] c_1\begin{bmatrix}3\\6\\2\end{bmatrix}+c_2\begin{bmatrix}-1\\0\\1\end{bmatrix}=\begin{bmatrix}3\\12\\7\end{bmatrix}
c 1 ⎣ ⎡ 3 6 2 ⎦ ⎤ + c 2 ⎣ ⎡ − 1 0 1 ⎦ ⎤ = ⎣ ⎡ 3 1 2 7 ⎦ ⎤
如果数 c 1 , c 2 c_1,c_2 c 1 , c 2 x \mathbf x x B B B
[ 3 − 1 3 6 0 12 2 1 7 ] → [ 1 0 2 0 1 3 0 0 0 ] \begin{bmatrix}\begin{array}{cc:c}
3&-1&3\\6&0&12\\2&1&7
\end{array}\end{bmatrix}\to
\begin{bmatrix}\begin{array}{cc:c}
1&0&2\\0&1&3\\0&0&0
\end{array}\end{bmatrix}
⎣ ⎡ 3 6 2 − 1 0 1 3 1 2 7 ⎦ ⎤ → ⎣ ⎡ 1 0 0 0 1 0 2 3 0 ⎦ ⎤
于是， x \mathbf x x v 1 , v 2 \mathbf v_1,\mathbf v_2 v 1 , v 2
v B = [ 3 2 ] \mathbf v_B=\begin{bmatrix}3\\2\end{bmatrix}
v B = [ 3 2 ]
有时为了区分坐标的基向量，向量 v \mathbf v v B = { b 1 , b 2 , ⋯ , b n } B=\{\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n\} B = { b 1 , b 2 , ⋯ , b n } v B \mathbf v_B v B
建立了坐标之后，V V V v \mathbf v v R n \R^n R n ( x 1 , x 2 , ⋯ , x n ) T (x_1,x_2,\cdots,x_n)^T ( x 1 , x 2 , ⋯ , x n ) T
设 v , w ∈ V \mathbf v,\mathbf w\in V v , w ∈ V
v = v 1 a 1 + v 2 a 2 + ⋯ + v n a n w = w 1 a 1 + w 2 a 2 + ⋯ + w n a n \mathbf v=v_1\mathbf a_1+v_2\mathbf a_2+\cdots+v_n\mathbf a_n\\
\mathbf w=w_1\mathbf a_1+w_2\mathbf a_2+\cdots+w_n\mathbf a_n
v = v 1 a 1 + v 2 a 2 + ⋯ + v n a n w = w 1 a 1 + w 2 a 2 + ⋯ + w n a n
向量加法运算
v + w = ( v 1 + w 1 ) a 1 + ( v 2 + w 2 ) a 2 + ⋯ + ( v n + w n ) a n \mathbf v+\mathbf w=(v_1+w_1)\mathbf a_1+(v_2+w_2)\mathbf a_2+\cdots+(v_n+w_n)\mathbf a_n
v + w = ( v 1 + w 1 ) a 1 + ( v 2 + w 2 ) a 2 + ⋯ + ( v n + w n ) a n
即对应的坐标运算为
[ v 1 v 2 ⋮ v n ] + [ w 1 w 2 ⋮ w n ] = [ v 1 + w 1 v 2 + w 2 ⋮ v n + w n ] \begin{bmatrix}v_1\\ v_2\\ \vdots \\ v_n\end{bmatrix}+
\begin{bmatrix}w_1\\ w_2\\ \vdots \\ w_n\end{bmatrix}=
\begin{bmatrix}v_1+w_1\\ v_2+w_2\\ \vdots \\ v_n+w_n\end{bmatrix}
⎣ ⎢ ⎢ ⎢ ⎡ v 1 v 2 ⋮ v n ⎦ ⎥ ⎥ ⎥ ⎤ + ⎣ ⎢ ⎢ ⎢ ⎡ w 1 w 2 ⋮ w n ⎦ ⎥ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎢ ⎡ v 1 + w 1 v 2 + w 2 ⋮ v n + w n ⎦ ⎥ ⎥ ⎥ ⎤
向量数乘运算
c v = ( c v 1 ) a 1 + ( c v 2 ) a 2 + ⋯ + ( c v n ) a n c\mathbf v=(cv_1)\mathbf a_1+(cv_2)\mathbf a_2+\cdots+(cv_n)\mathbf a_n
c v = ( c v 1 ) a 1 + ( c v 2 ) a 2 + ⋯ + ( c v n ) a n
即对应的坐标运算为
c [ v 1 v 2 ⋮ v n ] = [ c v 1 c v 2 ⋮ c v n ] c\begin{bmatrix}v_1\\ v_2\\ \vdots \\ v_n\end{bmatrix}=
\begin{bmatrix}cv_1\\ cv_2\\ \vdots \\ cv_n\end{bmatrix}
c ⎣ ⎢ ⎢ ⎢ ⎡ v 1 v 2 ⋮ v n ⎦ ⎥ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎢ ⎡ c v 1 c v 2 ⋮ c v n ⎦ ⎥ ⎥ ⎥ ⎤
向量的坐标取值依托于坐标系的基向量。选取的基向量不同，其所对应的坐标值就不同。当然，基向量自身的坐标总是：
e 1 = [ 1 0 ⋮ 0 ] , e 2 = [ 0 1 ⋮ 0 ] , ⋯ , e n = [ 0 0 ⋮ 1 ] , \mathbf e_1=\begin{bmatrix}1\\0\\\vdots\\0\end{bmatrix},\quad
\mathbf e_2=\begin{bmatrix}0\\1\\\vdots\\0\end{bmatrix},\quad
\cdots,\quad
\mathbf e_n=\begin{bmatrix}0\\0\\\vdots\\1\end{bmatrix},\quad
e 1 = ⎣ ⎢ ⎢ ⎢ ⎡ 1 0 ⋮ 0 ⎦ ⎥ ⎥ ⎥ ⎤ , e 2 = ⎣ ⎢ ⎢ ⎢ ⎡ 0 1 ⋮ 0 ⎦ ⎥ ⎥ ⎥ ⎤ , ⋯ , e n = ⎣ ⎢ ⎢ ⎢ ⎡ 0 0 ⋮ 1 ⎦ ⎥ ⎥ ⎥ ⎤ ,
这种坐标形式通常称为标准向量组 (或单位坐标向量组 )。
总之，在n n n V n V_n V n V n V_n V n R n \R^n R n O O O e 1 , e 2 , ⋯ , e n \mathbf e_1,\mathbf e_2,\cdots,\mathbf e_n e 1 , e 2 , ⋯ , e n 后续将对向量实体和坐标不做区分 。
本节从二维平面出发学习线性代数。通常选用平面坐标系 O x y Oxy O x y i , j \mathbf i,\ \mathbf j i , j
v = x i + y j \mathbf v=x\mathbf i+y\mathbf j
v = x i + y j
这样，平面内的点和有序实数对 ( x , y ) (x,y) ( x , y )
变换与函数类似，函数把数映射到数，变换把点(向量)映射到点(向量)。
T : v ↦ T ( v ) T:\quad \mathbf v\mapsto T(\mathbf v)
T : v ↦ T ( v )
例如，(1) 平面内任意一点 P ( x , y ) P(x,y) P ( x , y ) O O O 60 ° 60\degree 6 0 ° P ′ ( x ′ , y ′ ) P'(x',y') P ′ ( x ′ , y ′ )
{ x ′ = 1 2 x − 3 2 y y ′ = 3 2 x + 1 2 y \begin{cases}
x'=\frac{1}{2}x-\frac{\sqrt 3}{2}y \\
y'=\frac{\sqrt 3}{2}x+\frac{1}{2}y
\end{cases}
{ x ′ = 2 1 x − 2 3 y y ′ = 2 3 x + 2 1 y
可写为向量形式
[ x ′ y ′ ] = x [ 1 2 3 2 ] + y [ − 3 2 1 2 ] \begin{bmatrix}x'\\y'\end{bmatrix}=
x\begin{bmatrix}\frac{1}{2}\\\frac{\sqrt 3}{2}\end{bmatrix}+
y\begin{bmatrix}-\frac{\sqrt 3}{2}\\\frac{1}{2}\end{bmatrix}
[ x ′ y ′ ] = x [ 2 1 2 3 ] + y [ − 2 3 2 1 ]
(2) 平面内任意一点 P ( x , y ) P(x,y) P ( x , y ) y y y P ′ ( x ′ , y ′ ) P'(x',y') P ′ ( x ′ , y ′ )
{ x ′ = − x y ′ = y \begin{cases}
x'=-x \\
y'=y
\end{cases}
{ x ′ = − x y ′ = y
可写为向量形式
[ x ′ y ′ ] = x [ − 1 0 ] + y [ 0 1 ] \begin{bmatrix}x'\\y'\end{bmatrix}=
x\begin{bmatrix}-1\\0\end{bmatrix}+
y\begin{bmatrix}0\\1\end{bmatrix}
[ x ′ y ′ ] = x [ − 1 0 ] + y [ 0 1 ]
事实上，在平面坐标系 O x y Oxy O x y
{ x ′ = a x + b y y ′ = c x + d y \begin{cases}
x'=ax+by \\
y'=cx+dy
\end{cases}
{ x ′ = a x + b y y ′ = c x + d y
向量形式为
[ x ′ y ′ ] = x [ a c ] + y [ b d ] \begin{bmatrix}x'\\y'\end{bmatrix}=
x\begin{bmatrix}a\\c\end{bmatrix}+
y\begin{bmatrix}b\\d\end{bmatrix}
[ x ′ y ′ ] = x [ a c ] + y [ b d ]
其中 ( x ′ , y ′ ) (x',y') ( x ′ , y ′ ) ( x , y ) (x,y) ( x , y ) 平面线性变换 。
容易证明，线性变换满足下列两条性质
(1) 可加性：T ( v + w ) = T ( v ) + T ( w ) T(\mathbf v+\mathbf w)=T(\mathbf v)+T(\mathbf w) T ( v + w ) = T ( v ) + T ( w ) T ( c v ) = c L ( v ) T(c\mathbf v)=cL(\mathbf v) T ( c v ) = c L ( v )
事实上，这两条性质才是线性变换的严格定义。
为了进一步了解线性变换的本质，取任意向量 v = x i + y j \mathbf v=x\mathbf i+y\mathbf j v = x i + y j T T T
T ( v ) = T ( x i + y j ) = x T ( i ) + y T ( j ) T(\mathbf v)=T(x\mathbf i+y\mathbf j)=xT(\mathbf i)+yT(\mathbf j)
T ( v ) = T ( x i + y j ) = x T ( i ) + y T ( j )
可知，变换后的向量 T ( v ) T(\mathbf v) T ( v ) 。设变换后的基向量分别为
T ( i ) = a i + c j = [ a c ] , T ( j ) = b i + d j = [ b d ] T(\mathbf i)=a\mathbf i+c\mathbf j=\begin{bmatrix}a\\c\end{bmatrix},\quad
T(\mathbf j)=b\mathbf i+d\mathbf j=\begin{bmatrix}b\\d\end{bmatrix}
T ( i ) = a i + c j = [ a c ] , T ( j ) = b i + d j = [ b d ]
注意：本章线性变换中的坐标始终使用最初的 O x y Oxy O x y
于是，线性变换 T : v ↦ T ( v ) T:\mathbf v\mapsto T(\mathbf v) T : v ↦ T ( v )
[ x ′ y ′ ] = x [ a c ] + y [ b d ] \begin{bmatrix}x'\\y'\end{bmatrix}=
x\begin{bmatrix}a\\c\end{bmatrix}+
y\begin{bmatrix}b\\d\end{bmatrix}
[ x ′ y ′ ] = x [ a c ] + y [ b d ]
由于上述变换由变换后的基向量唯一确定，我们可以按顺序写为数表的形式
我们把这个数表称为二阶矩阵，一般用大写英文字母表示。变换后的向量则定义为矩阵与向量的乘积
[ a b c d ] [ x y ] = x [ a c ] + y [ b d ] = [ a x + b y c x + d y ] \begin{bmatrix}a & b\\c & d\end{bmatrix}\begin{bmatrix}x\\y\end{bmatrix}=
x\begin{bmatrix} a \\ c \end{bmatrix}+
y\begin{bmatrix} b \\ d \end{bmatrix}=
\begin{bmatrix} ax+by \\ cx+dy \end{bmatrix}
[ a c b d ] [ x y ] = x [ a c ] + y [ b d ] = [ a x + b y c x + d y ]
可知，矩阵代表一个特定的线性变换，我们完全可以把矩阵的列看作变换后的基向量，矩阵向量乘法就是将线性变换作用于给定向量 。
Grant：矩阵最初的定义就来自线性变换。
至此，任何一个线性变换都可以写为矩阵与向量乘积的形式。反之，确定了坐标系后，任何一个矩阵都唯一确定了一个线性变换。矩阵和向量的乘积与线性变换实现了一一对应。
一般地，直线在线性变换后仍然保持直线 。
证明：如图 l l l w 1 , w 2 \mathbf w_1,\mathbf w_2 w 1 , w 2 v \mathbf v v l l l
v = w 1 + λ ( w 2 − w 1 ) = ( 1 − λ ) w 1 + λ w 2 ( λ ∈ R ) \mathbf v=\mathbf w_1+\lambda(\mathbf w_2-\mathbf w_1)=(1-\lambda)\mathbf w_1+\lambda \mathbf w_2 \quad (\lambda\in\R)
v = w 1 + λ ( w 2 − w 1 ) = ( 1 − λ ) w 1 + λ w 2 ( λ ∈ R )
令 λ 1 + λ 2 = 1 \lambda_1+\lambda_2=1 λ 1 + λ 2 = 1
v = λ 1 w 1 + λ 2 w 2 \mathbf v=\lambda_1 \mathbf w_1+\lambda_2 \mathbf w_2
v = λ 1 w 1 + λ 2 w 2
这就是由向量 w 1 , w 2 \mathbf w_1,\mathbf w_2 w 1 , w 2 l l l A A A
v ′ = A ( λ 1 w 1 + λ 2 w 2 ) = λ 1 A w 1 + λ 2 A w 2 \mathbf v'=A(\lambda_1 \mathbf w_1+\lambda_2 \mathbf w_2)=\lambda_1 A\mathbf w_1+\lambda_2 A\mathbf w_2
v ′ = A ( λ 1 w 1 + λ 2 w 2 ) = λ 1 A w 1 + λ 2 A w 2
(1) 如果 A w 1 ≠ A w 2 A\mathbf w_1\neq A\mathbf w_2 A w 1 = A w 2 v ′ \mathbf v' v ′ A w 1 , A w 2 A\mathbf w_1,A\mathbf w_2 A w 1 , A w 2 A A A A w 1 = A w 2 A\mathbf w_1 = A\mathbf w_2 A w 1 = A w 2 λ 1 A w 1 + λ 2 A w 2 = A w 1 \lambda_1 A\mathbf w_1+\lambda_2 A\mathbf w_2=A\mathbf w_1 λ 1 A w 1 + λ 2 A w 2 = A w 1 A w 1 A\mathbf w_1 A w 1 A A A l l l A w 1 A\mathbf w_1 A w 1
Grant：我们可以使用无限网格刻画二维空间所有点的变换。线性变换是操作空间的一种手段，它能够保持网格线平行且等距，并保持原点不动 。
我们已经知道，在线性变换的作用下，直线仍然保持直线(或一个点)。为了方便，我们只考虑在平面直角坐标系内，单位正方形区域的线性变换。
根据向量加法的平行四边形法则，单位正方形区域可用向量形式表示为
[ x y ] = x i + y j ( 0 ⩽ x , y ⩽ 1 ) \begin{bmatrix}x\\y\end{bmatrix}=x\mathbf i+y\mathbf j \quad(0\leqslant x,y\leqslant 1)
[ x y ] = x i + y j ( 0 ⩽ x , y ⩽ 1 )
由线性变换基本性质知，变换后的区域为
A [ x y ] = x ( A i ) + y ( A j ) ( 0 ⩽ x , y ⩽ 1 ) A\begin{bmatrix}x\\y\end{bmatrix}=x(A\mathbf i)+y(A\mathbf j) \quad(0\leqslant x,y\leqslant 1)
A [ x y ] = x ( A i ) + y ( A j ) ( 0 ⩽ x , y ⩽ 1 )
表示以 A i , A j A\mathbf i,A\mathbf j A i , A j i , j \mathbf i,\mathbf j i , j
恒等变换 ：把平面内任意一点 P ( x , y ) P(x,y) P ( x , y ) I I I
[ 1 0 0 1 ] \begin{bmatrix}
1 & 0\\
0 & 1
\end{bmatrix}
[ 1 0 0 1 ]
旋转变换 ：(rotations)平面内任意一点 P ( x , y ) P(x,y) P ( x , y ) O O O θ \theta θ R θ R_{\theta} R θ
[ cos θ − sin θ sin θ cos θ ] \begin{bmatrix}
\cos\theta & -\sin\theta\\
\sin\theta & \cos\theta
\end{bmatrix}
[ cos θ sin θ − sin θ cos θ ]
切变变换 ：(shears)平行于 x x x
[ 1 k 0 1 ] \begin{bmatrix}
1 & k\\
0 & 1
\end{bmatrix}
[ 1 0 k 1 ]
类似的，平行于 y y y
[ 1 0 k 1 ] \begin{bmatrix}
1 & 0\\
k & 1
\end{bmatrix}
[ 1 k 0 1 ]
反射变换 ：(reflection)一般的我们把平面内任意一点 P ( x , y ) P(x,y) P ( x , y ) l l l l l l
(1) 关于 y y y
[ − 1 0 0 1 ] \begin{bmatrix}
-1 & 0\\
0 & 1
\end{bmatrix}
[ − 1 0 0 1 ]
(2) 关于直线 y = x y=x y = x
[ 0 1 1 0 ] \begin{bmatrix}
0 & 1\\
1 & 0
\end{bmatrix}
[ 0 1 1 0 ]
(3) 关于直线 y = k x y=kx y = k x
1 k 2 + 1 [ 1 − k 2 2 k 2 k k 2 − 1 ] \frac{1}{k^2+1}\begin{bmatrix}
1-k^2 & 2k\\
2k & k^2-1
\end{bmatrix}
k 2 + 1 1 [ 1 − k 2 2 k 2 k k 2 − 1 ]
伸缩变换 ：(stretching)将每个点的横坐标变为原来的 k 1 k_1 k 1 k 2 k_2 k 2 k 1 , k 2 ≠ 0 k_1,k_2\neq0 k 1 , k 2 = 0
[ k 1 0 0 k 2 ] \begin{bmatrix}
k_1 & 0\\
0 & k_2
\end{bmatrix}
[ k 1 0 0 k 2 ]
投影变换 ：(projection)平面内任意一点 P ( x , y ) P(x,y) P ( x , y ) l l l l l l
(1) 关于 x x x
[ 1 0 0 0 ] \begin{bmatrix}
1 & 0\\
0 & 0
\end{bmatrix}
[ 1 0 0 0 ]
(2) 关于 y y y
[ 0 0 0 1 ] \begin{bmatrix}
0 & 0\\
0 & 1
\end{bmatrix}
[ 0 0 0 1 ]
(3) 关于直线 y = k x y=kx y = k x
1 k 2 + 1 [ 1 k k k 2 ] \frac{1}{\sqrt{k^2+1}}\begin{bmatrix}
1 & k\\
k & k^2
\end{bmatrix}
k 2 + 1 1 [ 1 k k k 2 ]
平移变换 ：形如 ( x , y ) ↦ ( x + h , y + k ) (x,y)\mapsto (x+h,y+k) ( x , y ) ↦ ( x + h , y + k ) 齐次坐标 ：平面内的每个点 ( x , y ) (x,y) ( x , y ) ( x , y , 1 ) (x,y,1) ( x , y , 1 ) T : ( x , y , 1 ) ↦ ( x + h , y + k , 1 ) T:(x,y,1)\mapsto (x+h,y+k,1) T : ( x , y , 1 ) ↦ ( x + h , y + k , 1 )
[ 1 0 h 0 1 k 0 0 1 ] \begin{bmatrix}
1 & 0 & h \\
0 & 1 & k \\
0 & 0 & 1
\end{bmatrix}
⎣ ⎡ 1 0 0 0 1 0 h k 1 ⎦ ⎤
平面内任意一向量，依次做旋转变换 R θ 1 : [ cos θ 1 − sin θ 1 sin θ 1 cos θ 1 ] R_{\theta_1}:\begin{bmatrix}
\cos{\theta_1} & -\sin{\theta_1}\\
\sin{\theta_1} & \cos{\theta_1}
\end{bmatrix} R θ 1 : [ cos θ 1 sin θ 1 − sin θ 1 cos θ 1 ] R θ 2 : [ cos θ 2 − sin θ 2 sin θ 2 cos θ 2 ] R_{\theta_2}:\begin{bmatrix}
\cos{\theta_2} & -\sin{\theta_2}\\
\sin{\theta_2} & \cos{\theta_2}
\end{bmatrix} R θ 2 : [ cos θ 2 sin θ 2 − sin θ 2 cos θ 2 ]
很显然最终作用的效果可以用一个变换 R θ 1 + θ 2 R_{\theta_1+\theta_2} R θ 1 + θ 2
[ cos ( θ 1 + θ 2 ) − sin ( θ 1 + θ 2 ) sin ( θ 1 + θ 2 ) cos ( θ 1 + θ 2 ) ] \begin{bmatrix}
\cos{(\theta_1+\theta_2)} & -\sin{(\theta_1+\theta_2)}\\
\sin{(\theta_1+\theta_2)} & \cos{(\theta_1+\theta_2)}
\end{bmatrix}
[ cos ( θ 1 + θ 2 ) sin ( θ 1 + θ 2 ) − sin ( θ 1 + θ 2 ) cos ( θ 1 + θ 2 ) ]
旋转变换 R θ 1 + θ 2 R_{\theta_1+\theta_2} R θ 1 + θ 2
一般地，设矩阵 A = [ a 1 b 1 c 1 d 1 ] , B = [ a 2 b 2 c 2 d 2 ] A=\begin{bmatrix}a_1 & b_1\\ c_1 & d_1\end{bmatrix},B=\begin{bmatrix}a_2 & b_2\\ c_2 & d_2\end{bmatrix} A = [ a 1 c 1 b 1 d 1 ] , B = [ a 2 c 2 b 2 d 2 ] f f f g g g
平面上任意一个向量 v = [ x y ] \mathbf v=\begin{bmatrix} x \\ y \end{bmatrix} v = [ x y ] g g g f f f
f ( g ( v ) ) = A ( B v ) f(g(\mathbf v))=A(B\mathbf v)
f ( g ( v ) ) = A ( B v )
Grant：线性变换的本质主要在于追踪基向量变换后的位置。
接下来，我们追踪变换过程中基向量的位置。由矩阵向量乘法的定义知道，基向量 i , j \mathbf i,\mathbf j i , j B B B
B i = [ a 2 c 2 ] , B j = [ b 2 d 2 ] B\mathbf i=\begin{bmatrix}a_2\\c_2\end{bmatrix},\quad
B\mathbf j=\begin{bmatrix}b_2\\d_2\end{bmatrix}
B i = [ a 2 c 2 ] , B j = [ b 2 d 2 ]
基向量 B i , B j B\mathbf i,B\mathbf j B i , B j A A A
i ′ : [ a 1 b 1 c 1 d 1 ] [ a 2 c 2 ] = a 2 [ a 1 c 1 ] + c 2 [ b 1 d 1 ] = [ a 1 a 2 + b 1 c 2 c 1 a 2 + d 1 c 2 ] j ′ : [ a 1 b 1 c 1 d 1 ] [ b 2 d 2 ] = b 2 [ a 1 c 1 ] + d 2 [ b 1 d 1 ] = [ a 1 b 2 + b 1 d 2 c 1 b 2 + d 1 d 2 ] \mathbf i':\begin{bmatrix}a_1 & b_1\\ c_1 & d_1\end{bmatrix}
\begin{bmatrix}a_2\\ c_2\end{bmatrix}=
a_2\begin{bmatrix}a_1\\ c_1\end{bmatrix}+
c_2\begin{bmatrix}b_1\\d_1\end{bmatrix}=
\begin{bmatrix}a_1a_2+b_1c_2 \\ c_1a_2+d_1c_2\end{bmatrix} \\
\mathbf j':\begin{bmatrix}a_1 & b_1\\ c_1 & d_1\end{bmatrix}
\begin{bmatrix}b_2\\ d_2\end{bmatrix}=
b_2\begin{bmatrix}a_1\\ c_1\end{bmatrix}+
d_2\begin{bmatrix}b_1\\d_1\end{bmatrix}=
\begin{bmatrix}a_1b_2+b_1d_2\\c_1b_2+d_1d_2\end{bmatrix}
i ′ : [ a 1 c 1 b 1 d 1 ] [ a 2 c 2 ] = a 2 [ a 1 c 1 ] + c 2 [ b 1 d 1 ] = [ a 1 a 2 + b 1 c 2 c 1 a 2 + d 1 c 2 ] j ′ : [ a 1 c 1 b 1 d 1 ] [ b 2 d 2 ] = b 2 [ a 1 c 1 ] + d 2 [ b 1 d 1 ] = [ a 1 b 2 + b 1 d 2 c 1 b 2 + d 1 d 2 ]
从而，对任意向量 v = [ x y ] \mathbf v=\begin{bmatrix} x \\ y \end{bmatrix} v = [ x y ] B B B A A A
A ( B v ) = x i ′ + y j ′ = [ a 1 a 2 + b 1 c 2 a 1 b 2 + b 1 d 2 c 1 a 2 + d 1 c 2 c 1 b 2 + d 1 d 2 ] [ x y ] A(B\mathbf v)=x\mathbf i'+y\mathbf j'=\begin{bmatrix}a_1a_2+b_1c_2 & a_1b_2+b_1d_2\\ c_1a_2+d_1c_2 & c_1b_2+d_1d_2\end{bmatrix}
\begin{bmatrix} x \\ y \end{bmatrix}
A ( B v ) = x i ′ + y j ′ = [ a 1 a 2 + b 1 c 2 c 1 a 2 + d 1 c 2 a 1 b 2 + b 1 d 2 c 1 b 2 + d 1 d 2 ] [ x y ]
这也是一个线性变换，我们称为复合变换 (composite transformation)，记为 f ∘ g f\circ g f ∘ g
在此，我们定义复合变换 f ∘ g f\circ g f ∘ g A , B A,B A , B
A B = [ a 1 b 1 c 1 d 1 ] [ a 2 b 2 c 2 d 2 ] = [ a 1 a 2 + b 1 c 2 a 1 b 2 + b 1 d 2 c 1 a 2 + d 1 c 2 c 1 b 2 + d 1 d 2 ] AB=\begin{bmatrix}a_1 & b_1\\ c_1 & d_1\end{bmatrix}
\begin{bmatrix}a_2 & b_2\\ c_2 & d_2\end{bmatrix}=
\begin{bmatrix}a_1a_2+b_1c_2 & a_1b_2+b_1d_2\\ c_1a_2+d_1c_2 & c_1b_2+d_1d_2\end{bmatrix}
A B = [ a 1 c 1 b 1 d 1 ] [ a 2 c 2 b 2 d 2 ] = [ a 1 a 2 + b 1 c 2 c 1 a 2 + d 1 c 2 a 1 b 2 + b 1 d 2 c 1 b 2 + d 1 d 2 ]
注意：矩阵乘积的次序与复合变换相同，从右向左相继作用。
由定义易知，对任意向量 v \mathbf v v
( A B ) v = A ( B v ) (AB)\mathbf v=A(B\mathbf v)
( A B ) v = A ( B v )
接下来，我们将矩阵的概念推广到高维空间。高维线性空间中的变换与二维空间中的变换类似。
矩阵 : m × n m\times n m × n 矩阵
[ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ] \begin{bmatrix}
a_{11}&a_{12}&\cdots&a_{1n} \\
a_{21}&a_{22}&\cdots&a_{2n} \\
\vdots&\vdots&\ddots&\vdots \\
a_{m1}&a_{m2}&\cdots&a_{mn} \\
\end{bmatrix}
⎣ ⎢ ⎢ ⎢ ⎡ a 1 1 a 2 1 ⋮ a m 1 a 1 2 a 2 2 ⋮ a m 2 ⋯ ⋯ ⋱ ⋯ a 1 n a 2 n ⋮ a m n ⎦ ⎥ ⎥ ⎥ ⎤
常用大写英文字母表示矩阵，如A A A A m × n A_{m× n} A m × n a i j a_{ij} a i j ( a i j ) (a_{ij}) ( a i j ) ( a i j ) m × n (a_{ij})_{m× n} ( a i j ) m × n
几种特殊的矩阵 ：
元素全为零的矩阵称为零矩阵 (zero matrix)，记作O O O
只有一行的矩阵称为行矩阵 (row matrix)或行向量 ；只有一列的矩阵称为列矩阵 (column matrix)或列向量 。行(列)矩阵通常用小写黑体字母表示，如 a , x \mathbf a,\mathbf x a , x
当行数和列数相等时的矩阵 A n × n A_{n\times n} A n × n n n n
不在主对角线上的元素全为零的方阵称为对角阵 (diagonal matrix)，记作 d i a g ( a 1 , a 2 , ⋯ , a n ) \mathrm{diag}(a_1,a_2,\cdots,a_n) d i a g ( a 1 , a 2 , ⋯ , a n )
主对角线上的元素全为1的对角阵，称为单位阵 (identity matrix)。记n n n E n E_n E n I n I_n I n
矩阵的线性运算 ：因为矩阵 A m × n A_{m\times n} A m × n m m m A = [ a 1 a 2 ⋯ a n ] A=\begin{bmatrix}\mathbf a_1&\mathbf a_2&\cdots&\mathbf a_n\end{bmatrix} A = [ a 1 a 2 ⋯ a n ]
设矩阵A = ( a i j ) A=(a_{ij}) A = ( a i j ) B = ( b i j ) B=(b_{ij}) B = ( b i j )
他们的对应元素完全相同 a i j = b i j a_{ij}=b_{ij} a i j = b i j A A A B B B A = B A=B A = B
矩阵的加法定义为 A + B = ( a i j + b i j ) A+B=(a_{ij}+b_{ij}) A + B = ( a i j + b i j )
矩阵的数乘定义为k A = ( k a i j ) kA=(ka_{ij}) k A = ( k a i j )
性质 ：线性运算满足以下性质
加法交换律：A + B = B + A A+B=B+A A + B = B + A
加法结合律：A + ( B + C ) = ( A + B ) + C A+(B+C)=(A+B)+C A + ( B + C ) = ( A + B ) + C
零矩阵：O + A = A O+A=A O + A = A
负矩阵：A + ( − A ) = O A+(-A)=O A + ( − A ) = O
数乘结合律：k ( l A ) = ( k l ) A k(lA)=(kl)A k ( l A ) = ( k l ) A
数乘分配律：k ( A + B ) = k A + k B k(A+B)=kA+kB k ( A + B ) = k A + k B
数乘分配律：( k + l ) A = k A + l A (k+l)A=kA+lA ( k + l ) A = k A + l A
数乘单位元：1 A = A 1A=A 1 A = A
矩阵向量的乘法 ： 矩阵与向量的乘法来源于线性变换，它有着直观的、深刻的几何背景。设m × n m\times n m × n A = ( a i j ) A=(a_{ij}) A = ( a i j ) n n n v = ( x 1 , x 2 , ⋯ , x n ) T \mathbf v=(x_1,x_2,\cdots,x_n)^T v = ( x 1 , x 2 , ⋯ , x n ) T
[ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ] [ x 1 x 2 ⋮ x n ] = x 1 [ a 11 a 21 ⋮ a m 1 ] + ⋯ + x n [ a 1 n a 2 n ⋮ a m n ] = [ ∑ j = 1 n a 1 j x j ∑ j = 1 n a 2 j x j ⋮ ∑ j = 1 n a m j x j ] \begin{bmatrix}
a_{11}&a_{12}&\cdots&a_{1n} \\
a_{21}&a_{22}&\cdots&a_{2n} \\
\vdots&\vdots&\ddots&\vdots \\
a_{m1}&a_{m2}&\cdots&a_{mn} \\
\end{bmatrix}
\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=
x_1\begin{bmatrix}a_{11}\\a_{21}\\\vdots\\a_{m1}\end{bmatrix}+\cdots+
x_n\begin{bmatrix}a_{1n}\\a_{2n}\\\vdots\\a_{mn}\end{bmatrix}=
\begin{bmatrix}\sum_{j=1}^na_{1j}x_j\\\sum_{j=1}^na_{2j}x_j\\\vdots\\\sum_{j=1}^na_{mj}x_j\end{bmatrix}
⎣ ⎢ ⎢ ⎢ ⎡ a 1 1 a 2 1 ⋮ a m 1 a 1 2 a 2 2 ⋮ a m 2 ⋯ ⋯ ⋱ ⋯ a 1 n a 2 n ⋮ a m n ⎦ ⎥ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎢ ⎡ x 1 x 2 ⋮ x n ⎦ ⎥ ⎥ ⎥ ⎤ = x 1 ⎣ ⎢ ⎢ ⎢ ⎡ a 1 1 a 2 1 ⋮ a m 1 ⎦ ⎥ ⎥ ⎥ ⎤ + ⋯ + x n ⎣ ⎢ ⎢ ⎢ ⎡ a 1 n a 2 n ⋮ a m n ⎦ ⎥ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎢ ⎡ ∑ j = 1 n a 1 j x j ∑ j = 1 n a 2 j x j ⋮ ∑ j = 1 n a m j x j ⎦ ⎥ ⎥ ⎥ ⎤
一般地，m × n m\times n m × n n n n m m m j j j j j j
矩阵乘法 ：矩阵与矩阵乘法来源于复合线性变换。设矩阵A = ( a i j ) m × n A=(a_{ij})_{m\times n} A = ( a i j ) m × n B = ( b i j ) n × p B=(b_{ij})_{n\times p} B = ( b i j ) n × p v = ( x 1 , x 2 , ⋯ , x p ) \mathbf v=(x_1,x_2,\cdots,x_p) v = ( x 1 , x 2 , ⋯ , x p ) b 1 , b 2 , ⋯ , b p \mathbf b_1,\mathbf b_2,\cdots,\mathbf b_p b 1 , b 2 , ⋯ , b p B B B
B v = x 1 b 1 + x 2 b 2 + ⋯ + x p b p B\mathbf v=x_1\mathbf b_1+x_2\mathbf b_2+\cdots+x_p\mathbf b_p
B v = x 1 b 1 + x 2 b 2 + ⋯ + x p b p
由线性变换的性质
A ( B v ) = A ( x 1 b 1 ) + A ( x 2 b 2 ) + ⋯ + A ( x p b p ) = x 1 A b 1 + x 2 A b 2 + ⋯ + x p A b p = [ A b 1 A b 2 ⋯ A b p ] v \begin{aligned}
A(B\mathbf v)&=A(x_1\mathbf b_1)+A(x_2\mathbf b_2)+\cdots+A(x_p\mathbf b_p) \\
&=x_1A\mathbf b_1+x_2A\mathbf b_2+\cdots+x_pA\mathbf b_p \\
&=\begin{bmatrix}A\mathbf b_1&A\mathbf b_2&\cdots&A\mathbf b_p\end{bmatrix}\mathbf v
\end{aligned}
A ( B v ) = A ( x 1 b 1 ) + A ( x 2 b 2 ) + ⋯ + A ( x p b p ) = x 1 A b 1 + x 2 A b 2 + ⋯ + x p A b p = [ A b 1 A b 2 ⋯ A b p ] v
于是可定义矩阵的乘积 A B AB A B m × p m\times p m × p
A B = A [ b 1 b 2 ⋯ b p ] = [ A b 1 A b 2 ⋯ A b p ] AB=A\begin{bmatrix}\mathbf b_1&\mathbf b_2&\cdots&\mathbf b_p\end{bmatrix}=
\begin{bmatrix}A\mathbf b_1&A\mathbf b_2&\cdots&A\mathbf b_p\end{bmatrix}
A B = A [ b 1 b 2 ⋯ b p ] = [ A b 1 A b 2 ⋯ A b p ]
矩阵 A A A B B B A B = ( c i j ) m × p AB=(c_{ij})_{m× p} A B = ( c i j ) m × p
c i j = a i 1 b 1 j + a i 2 b 2 j + ⋯ + a i p b p j c_{ij}=a_{i1}b_{1j}+a_{i2}b_{2j}+\cdots+a_{ip}b_{pj}
c i j = a i 1 b 1 j + a i 2 b 2 j + ⋯ + a i p b p j
性质 ：矩阵乘法满足以下性质
矩阵乘法满足结合率：A ( B C ) = ( A B ) C A(BC)=(AB)C A ( B C ) = ( A B ) C
矩阵乘法满足左分配律：A ( B + C ) = A B + A C A(B+C)=AB+AC A ( B + C ) = A B + A C
矩阵乘法满足右分配律：( B + C ) A = B A + C A (B+C)A=BA+CA ( B + C ) A = B A + C A
矩阵乘法满足数乘分配律：k ( A B ) = ( k A ) B = A ( k B ) k(AB)=(kA)B=A(kB) k ( A B ) = ( k A ) B = A ( k B )
矩阵乘法单位元：I A = A I = A IA=AI=A I A = A I = A
证明：(1) 可从矩阵乘法的定义证明满足结合率。从线性变换角度来看，对于复合变换 A ( B C ) A(BC) A ( B C ) ( A B ) C (AB)C ( A B ) C
v → C C v → B B C v → A A B C v \mathbf v\xrightarrow{C}C\mathbf v\xrightarrow{B}BC\mathbf v\xrightarrow{A}ABC\mathbf v
v C C v B B C v A A B C v
注意：
矩阵乘法不满足交换率，即一般情况下 A B ≠ B A AB\neq BA A B = B A
矩阵乘法不满足消去率，即若 A B = A C AB=AC A B = A C B = C B=C B = C A B = O AB=O A B = O A = O A=O A = O B = O B=O B = O
证明：(1) 一般地，复合变换 f ∘ g ≠ g ∘ f f\circ g\neq g\circ f f ∘ g = g ∘ f A B ≠ B A AB\neq BA A B = B A
设矩阵
A = [ 0 1 0 0 0 1 0 0 1 ] , B = [ 0 0 1 0 0 0 0 0 0 ] A=\begin{bmatrix}0&1&0\\ 0&0&1\\ 0&0&1\end{bmatrix},\quad
B=\begin{bmatrix}0&0&1\\ 0&0&0\\ 0&0&0\end{bmatrix}
A = ⎣ ⎡ 0 0 0 1 0 0 0 1 1 ⎦ ⎤ , B = ⎣ ⎡ 0 0 0 0 0 0 1 0 0 ⎦ ⎤
则有
A B = [ 0 1 0 0 0 1 0 0 1 ] [ 0 0 1 0 0 0 0 0 0 ] = [ 0 0 0 0 0 0 0 0 0 ] = O B A = [ 0 0 1 0 0 0 0 0 0 ] [ 0 1 0 0 0 1 0 0 1 ] = [ 0 0 1 0 0 0 0 0 0 ] ≠ O AB=\begin{bmatrix}0&1&0\\ 0&0&1\\ 0&0&1\end{bmatrix}
\begin{bmatrix}0&0&1\\ 0&0&0\\ 0&0&0\end{bmatrix}=
\begin{bmatrix}0&0&0\\ 0&0&0\\ 0&0&0\end{bmatrix}=O \\
BA=\begin{bmatrix}0&0&1\\ 0&0&0\\ 0&0&0\end{bmatrix}
\begin{bmatrix}0&1&0\\ 0&0&1\\ 0&0&1\end{bmatrix}=
\begin{bmatrix}0&0&1\\ 0&0&0\\ 0&0&0\end{bmatrix}\neq O
A B = ⎣ ⎡ 0 0 0 1 0 0 0 1 1 ⎦ ⎤ ⎣ ⎡ 0 0 0 0 0 0 1 0 0 ⎦ ⎤ = ⎣ ⎡ 0 0 0 0 0 0 0 0 0 ⎦ ⎤ = O B A = ⎣ ⎡ 0 0 0 0 0 0 1 0 0 ⎦ ⎤ ⎣ ⎡ 0 0 0 1 0 0 0 1 1 ⎦ ⎤ = ⎣ ⎡ 0 0 0 0 0 0 1 0 0 ⎦ ⎤ = O
定义 ：为方便使用，先介绍几个简单的定义
线性变换是一种映射，称变换后的向量 T ( v ) T(\mathbf v) T ( v ) v \mathbf v v T T T 像 ，而称 v \mathbf v v T ( v ) T(\mathbf v) T ( v ) T T T 原像 。
线性变换 T T T T ( V ) T(V) T ( V ) T T T 值域 ，记作
range ( T ) = { T ( v ) ∣ v ∈ V } \text{range}(T)=\{T(\mathbf v)\mid\mathbf v\in V\}
range ( T ) = { T ( v ) ∣ v ∈ V }
在前面几节的分析中，我们始终将矩阵的列看成是向量。而这些列向量所张成的空间，称为列空间 ，若 A = ( a 1 , a 2 , ⋯ , a n ) A=(\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n) A = ( a 1 , a 2 , ⋯ , a n )
col A = span { a 1 , a 2 , ⋯ , a n } \text{col }A=\text{span}\{\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n\}
col A = span { a 1 , a 2 , ⋯ , a n }
我们已经知道，变换后的向量 A v A\mathbf v A v A A A A A A
col A = range A = { A v ∣ v ∈ V } \text{col }A=\text{range }A=\{A\mathbf v\mid\mathbf v\in V\}
col A = range A = { A v ∣ v ∈ V }
定理 ：矩阵 A A A col A \text{col }A col A
下面两个例子给出对列空间求基的简单算法。
例1：求 Col B \text{Col }B Col B
B = ( b 1 , b 2 , ⋯ , b n ) = [ 1 4 0 2 0 0 0 1 − 1 0 0 0 0 0 1 0 0 0 0 0 ] B=(\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n)=\begin{bmatrix}1&4&0&2&0\\ 0&0&1&-1&0\\ 0&0&0&0&1\\0&0&0&0&0\end{bmatrix}
B = ( b 1 , b 2 , ⋯ , b n ) = ⎣ ⎢ ⎢ ⎡ 1 0 0 0 4 0 0 0 0 1 0 0 2 − 1 0 0 0 0 1 0 ⎦ ⎥ ⎥ ⎤
事实上，B B B b 2 = 4 b 1 , b 4 = 2 b 1 − b 3 \mathbf b_2=4\mathbf b_1,\mathbf b_4=2\mathbf b_1-\mathbf b_3 b 2 = 4 b 1 , b 4 = 2 b 1 − b 3 col B = span { b 1 , b 3 , b 5 } \text{col }B=\text{span }\{\mathbf b_1,\mathbf b_3,\mathbf b_5\} col B = span { b 1 , b 3 , b 5 }
当矩阵不是阶梯型矩阵时，回顾矩阵 A = ( a 1 , a 2 , ⋯ , a n ) A=(\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n) A = ( a 1 , a 2 , ⋯ , a n ) A x = 0 A\mathbf x=0 A x = 0 A A A B = ( b 1 , b 2 , ⋯ , b n ) B=(\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n) B = ( b 1 , b 2 , ⋯ , b n ) P P P B = P A B=PA B = P A B B B x \mathbf x x B x = 0 B\mathbf x=0 B x = 0
x 1 b 1 + x 2 b 2 + ⋯ + x n b n = 0 x_1\mathbf b_1+x_2\mathbf b_2+\cdots+x_n\mathbf b_n=0
x 1 b 1 + x 2 b 2 + ⋯ + x n b n = 0
同样的系数 x \mathbf x x A A A A x = P − 1 B x = 0 A\mathbf x=P^{-1}B\mathbf x=0 A x = P − 1 B x = 0
x 1 a 1 + x 2 a 2 + ⋯ + x n a n = 0 x_1\mathbf a_1+x_2\mathbf a_2+\cdots+x_n\mathbf a_n=0
x 1 a 1 + x 2 a 2 + ⋯ + x n a n = 0
综上，即矩阵A A A B B B
例2：
A = ( a 1 , a 2 , ⋯ , a n ) = [ 1 4 0 2 − 1 3 12 1 5 5 2 8 1 3 2 5 20 2 8 8 ] A=(\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n)=\begin{bmatrix}1&4&0&2&-1\\ 3&12&1&5&5\\ 2&8&1&3&2\\5&20&2&8&8\end{bmatrix}
A = ( a 1 , a 2 , ⋯ , a n ) = ⎣ ⎢ ⎢ ⎡ 1 3 2 5 4 1 2 8 2 0 0 1 1 2 2 5 3 8 − 1 5 2 8 ⎦ ⎥ ⎥ ⎤
已知矩阵 A A A B B B Col A \text{Col }A Col A
由于上例中 b 2 = 4 b 1 , b 4 = 2 b 1 − b 3 \mathbf b_2=4\mathbf b_1,\mathbf b_4=2\mathbf b_1-\mathbf b_3 b 2 = 4 b 1 , b 4 = 2 b 1 − b 3 A A A a 2 = 4 a 1 , a 4 = 2 a 1 − a 3 \mathbf a_2=4\mathbf a_1,\mathbf a_4=2\mathbf a_1-\mathbf a_3 a 2 = 4 a 1 , a 4 = 2 a 1 − a 3 a 1 , a 3 , a 5 \mathbf a_1,\mathbf a_3,\mathbf a_5 a 1 , a 3 , a 5 Col A \text{Col }A Col A col A = span { a 1 , a 3 , a 5 } \text{col }A=\text{span }\{\mathbf a_1,\mathbf a_3,\mathbf a_5\} col A = span { a 1 , a 3 , a 5 }
注意：阶梯形矩阵的主元列通常不在原矩阵的列空间中。
矩阵的秩 就是列空间的维度，记作 rank A = dim ( col A ) \text{rank }A=\dim(\text{col }A) rank A = dim ( col A )
前面介绍的都是方阵，表示向量空间到自身的映射。下面简单说下非方阵的映射关系。
一般地，m × n m\times n m × n n n n m m m j j j j j j
3 × 2 3\times 2 3 × 2
[ 1 − 1 3 2 0 3 ] [ x y ] = [ 1 3 0 ] x + [ − 1 2 3 ] y \begin{bmatrix}1&-1\\3&2\\0&3\end{bmatrix}
\begin{bmatrix}x\\y\end{bmatrix}=
\begin{bmatrix}1\\3\\0\end{bmatrix}x+
\begin{bmatrix}-1\\2\\3\end{bmatrix}y
⎣ ⎡ 1 3 0 − 1 2 3 ⎦ ⎤ [ x y ] = ⎣ ⎡ 1 3 0 ⎦ ⎤ x + ⎣ ⎡ − 1 2 3 ⎦ ⎤ y
2 × 3 2\times 3 2 × 3
[ 2 2 1 1 0 − 1 ] [ x y z ] = [ 2 1 ] x + [ 2 0 ] y + [ 1 − 1 ] z \begin{bmatrix}2&2&1\\1&0&-1\end{bmatrix}
\begin{bmatrix}x\\y\\z\end{bmatrix}=
\begin{bmatrix}2\\1\end{bmatrix}x+
\begin{bmatrix}2\\0\end{bmatrix}y+
\begin{bmatrix}1\\-1\end{bmatrix}z
[ 2 1 2 0 1 − 1 ] ⎣ ⎡ x y z ⎦ ⎤ = [ 2 1 ] x + [ 2 0 ] y + [ 1 − 1 ] z
若矩阵的秩等于列数，则称为满秩矩阵 (full rank matrix)，零向量一定在列空间内，满秩变换中，唯一能落在原点的就是零向量自身。满秩矩阵的列即为列空间的基。
对于非满秩矩阵 ，意味着该线性变换会将空间压缩到一个更低维的空间，通俗来讲，就是会有一系列直线上不同方向的向量压缩为原点。
由此可得，秩可以用来描述线性变换对空间的压缩程度 。
我们已经知道了矩阵与线性变换中的对应关系，试想一下，将变换后的向量还原到初始状态。
逆矩阵 ：对于 n n n A A A n n n B B B
A B = B A = I AB=BA=I
A B = B A = I
则称矩阵 A A A 可逆 (invertible)，B B B A A A 逆矩阵 。实际上， A A A A − 1 A^{-1} A − 1 B , C B,C B , C A A A
B = ( C A ) B = C ( A B ) = C B=(CA)B=C(AB)=C
B = ( C A ) B = C ( A B ) = C
不可逆矩阵有时称为奇异矩阵 ，而可逆矩阵也称为非奇异矩阵 。
性质 ：逆矩阵满足下列性质
( A − 1 ) − 1 = A (A^{-1})^{-1}=A ( A − 1 ) − 1 = A ( k A ) − 1 = 1 k A − 1 , ( k ≠ 0 ) (kA)^{-1}=\dfrac{1}{k}A^{-1},\quad(k\neq0) ( k A ) − 1 = k 1 A − 1 , ( k = 0 ) ( A B ) − 1 = B − 1 A − 1 (AB)^{-1}=B^{-1}A^{-1} ( A B ) − 1 = B − 1 A − 1 ( A T ) − 1 = ( A − 1 ) T (A^T)^{-1}=(A^{-1})^T ( A T ) − 1 = ( A − 1 ) T
证明：(性质3)若方阵 A , B A,B A , B
( A B ) ( B − 1 A − 1 ) = ( B − 1 A − 1 ) ( A B ) = I (AB)(B^{-1}A^{-1})=(B^{-1}A^{-1})(AB)=I
( A B ) ( B − 1 A − 1 ) = ( B − 1 A − 1 ) ( A B ) = I
因此 ( A B ) − 1 = B − 1 A − 1 (AB)^{-1}=B^{-1}A^{-1} ( A B ) − 1 = B − 1 A − 1
从变换的角度考虑，复合变换的逆 ( f ∘ g ) − 1 = g − 1 ∘ f − 1 (f\circ g)^{-1}=g^{-1}\circ f^{-1} ( f ∘ g ) − 1 = g − 1 ∘ f − 1
(性质4)
I = ( A A − 1 ) T = ( A − 1 ) T A T , I = ( A − 1 A ) T = A T ( A − 1 ) T I=(AA^{-1})^T=(A^{-1})^TA^T,\quad I=(A^{-1}A)^T=A^T(A^{-1})^T
I = ( A A − 1 ) T = ( A − 1 ) T A T , I = ( A − 1 A ) T = A T ( A − 1 ) T
因此 ( A T ) − 1 = ( A − 1 ) T (A^T)^{-1}=(A^{-1})^T ( A T ) − 1 = ( A − 1 ) T
客观世界最简单的数量关系是均匀变化的关系。在均匀变化问题中，列出的方程组是一次方程组，我们称之为线性方程组(Linear system of equations)。n n n
{ a 11 x 1 + a 12 x 2 + ⋯ + a 1 n x n = b 1 a 21 x 1 + a 22 x 2 + ⋯ + a 2 n x n = b 2 ⋯ ⋯ a m 1 x 1 + a m 2 x 2 + ⋯ + a m n x n = b m \begin{cases}
a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n=b_1 \\
a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n=b_2 \\
\cdots\quad\cdots \\
a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n=b_m
\end{cases}
⎩ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎧ a 1 1 x 1 + a 1 2 x 2 + ⋯ + a 1 n x n = b 1 a 2 1 x 1 + a 2 2 x 2 + ⋯ + a 2 n x n = b 2 ⋯ ⋯ a m 1 x 1 + a m 2 x 2 + ⋯ + a m n x n = b m
如果存在n n n x 1 = s 1 , x 2 = s 2 , ⋯ , x n = s n x_1=s_1,x_2=s_2,\cdots,x_n=s_n x 1 = s 1 , x 2 = s 2 , ⋯ , x n = s n 解 (solution)。方程组的所有解组成的集合称为这个方程组的解集 。
解线性方程组的一般方法，是把方程组用一个更容易解的等价方程组 (即有相同解集的方程组)代替。用来化简线性方程组的三种基本变换是：
(1) 互换两个方程的位置；
以上三种变换称为高斯消元法(Gaussian Elimination)。
例如，解方程组
{ 2 x 2 − x 3 = 7 x 1 + x 2 + 2 x 3 = 0 x 1 + x 2 − x 3 = − 6 x 1 + 3 x 2 − 2 x 3 = 1 \begin{cases}
\begin{alignedat}{4}
&\quad 2x_2&-\ \ x_3 &= 7 \\
x_1&+\ x_2&+2x_3& = 0 \\
x_1&+\ x_2&-\ \ x_3& = -6 \\
x_1&+3x_2&-2x_3&=1
\end{alignedat}
\end{cases}
⎩ ⎪ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎪ ⎧ x 1 x 1 x 1 2 x 2 + x 2 + x 2 + 3 x 2 − x 3 + 2 x 3 − x 3 − 2 x 3 = 7 = 0 = − 6 = 1
经过基本变换把线性方程组化成阶梯形方程组
{ x 1 + x 2 − x 3 = − 6 2 x 2 − x 3 = 7 3 x 3 = 6 0 = 0 \begin{cases}
\begin{alignedat}{4}
x_1&+x_2&-x_3& = -6 \\
&\quad 2x_2&-x_3 &= 7 \\
&\quad &\quad 3x_3& = 6 \\
&\quad &\quad 0& = 0
\end{alignedat}
\end{cases}
⎩ ⎪ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎪ ⎧ x 1 + x 2 2 x 2 − x 3 − x 3 3 x 3 0 = − 6 = 7 = 6 = 0
还可以进一步变换为简化阶梯形方程组
{ x 1 = − 9 x 2 = 5 x 3 = 2 0 = 0 \begin{cases}
x_1 & & &=-9 \\
& x_2 & & = 5 \\
& & x_3& = 2 \\
& & 0& = 0
\end{cases}
⎩ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎧ x 1 x 2 x 3 0 = − 9 = 5 = 2 = 0
上面的简单例子代表了用消元法解线性方程组的一般方法和计算格式。
根据矩阵与向量的乘法定义，线性方程组可写为矩阵形式
A x = b A\mathbf x=\mathbf b
A x = b
其中
A = [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ] , x = [ x 1 x 2 ⋮ x n ] , b = [ b 1 b 2 ⋮ b n ] A=\begin{bmatrix}
a_{11}&a_{12}&\cdots&a_{1n} \\
a_{21}&a_{22}&\cdots&a_{2n} \\
\vdots&\vdots&\ddots&\vdots \\
a_{m1}&a_{m2}&\cdots&a_{mn} \\
\end{bmatrix},\quad
\mathbf x=\begin{bmatrix}
x_1\\x_2\\\vdots\\x_n
\end{bmatrix},\quad
\mathbf b=\begin{bmatrix}
b_1\\b_2\\\vdots\\b_n
\end{bmatrix}
A = ⎣ ⎢ ⎢ ⎢ ⎡ a 1 1 a 2 1 ⋮ a m 1 a 1 2 a 2 2 ⋮ a m 2 ⋯ ⋯ ⋱ ⋯ a 1 n a 2 n ⋮ a m n ⎦ ⎥ ⎥ ⎥ ⎤ , x = ⎣ ⎢ ⎢ ⎢ ⎡ x 1 x 2 ⋮ x n ⎦ ⎥ ⎥ ⎥ ⎤ , b = ⎣ ⎢ ⎢ ⎢ ⎡ b 1 b 2 ⋮ b n ⎦ ⎥ ⎥ ⎥ ⎤
矩阵 A A A 系数矩阵 ， x \mathbf x x 未知数向量 ，b \mathbf b b 常数向量 。
从上节求解线性方程组的过程中，不难发现，只是对线性方程组的系数和常数项进行了运算。因此，线性方程组可以用它的系数和常数项来求解。
为求解方便，把常数向量添加到系数矩阵最后一列，构成的矩阵
A ˉ = [ A ∣ b ] = [ a 11 ⋯ a 1 n b 1 a 21 ⋯ a 2 n b 2 ⋮ ⋮ ⋱ ⋮ a m 1 ⋯ a m n b m ] \bar A=[A\mid b]=\begin{bmatrix}\begin{array}{ccc:c}
a_{11}&\cdots&a_{1n}&b_1 \\
a_{21}&\cdots&a_{2n}&b_2 \\
\vdots&\vdots&\ddots&\vdots \\
a_{m1}&\cdots&a_{mn}&b_m \\
\end{array}\end{bmatrix}
A ˉ = [ A ∣ b ] = ⎣ ⎢ ⎢ ⎢ ⎡ a 1 1 a 2 1 ⋮ a m 1 ⋯ ⋯ ⋮ ⋯ a 1 n a 2 n ⋱ a m n b 1 b 2 ⋮ b m ⎦ ⎥ ⎥ ⎥ ⎤
称为方程组的增广矩阵 (augmented matrix)。
初等行变换 ：上节所讲的三种基本变换对应于矩阵的下列变换：
(1) 行互换变换：对调矩阵的第i i i j j j r i ↔ r j r_i\lrarr r_j r i ↔ r j i i i k k k k r i kr_i k r i j j j i i i r i + k r j r_i+kr_j r i + k r j
称为矩阵的初等行变换 (elementary row transformation)。
矩阵消元法 ：在解线性方程组时，把它的增广矩阵经过初等行变换化成行阶梯形矩阵，写出相应的阶梯形方程组 ，进行求解；或者一直化成简化行阶梯形矩阵，写出它表示的简化阶梯形方程组，从而立即得出解。
上节例子中，增广矩阵经过初等行变换可简化为
A ˉ = [ 0 2 − 1 7 1 1 2 0 1 1 − 1 − 6 1 3 − 2 1 ] → [ 1 1 − 1 − 6 0 2 − 1 7 0 0 3 6 0 0 0 0 ] = B 1 \bar A=\begin{bmatrix}\begin{array}{ccc:c}
0 & 2 & -1 & 7 \\
1 & 1 & 2 & 0\\
1 & 1 & -1 & -6 \\
1 & 3 & -2 & 1
\end{array}\end{bmatrix}\to
\begin{bmatrix}\begin{array}{ccc:c}
1 & 1 & -1 & -6 \\
0 & 2 & -1 & 7\\
0 & 0 & 3 & 6 \\
0 & 0 & 0 & 0
\end{array}\end{bmatrix}=B_1
A ˉ = ⎣ ⎢ ⎢ ⎡ 0 1 1 1 2 1 1 3 − 1 2 − 1 − 2 7 0 − 6 1 ⎦ ⎥ ⎥ ⎤ → ⎣ ⎢ ⎢ ⎡ 1 0 0 0 1 2 0 0 − 1 − 1 3 0 − 6 7 6 0 ⎦ ⎥ ⎥ ⎤ = B 1
称形如 B 1 B_1 B 1 行阶梯形矩阵 (Row Echelon Form，REF)。其特点是：
(1) 若有零行(元素全为零的行)，零行均在非零行的下方；主元 ，pivot)以下的元素全为零。
使用初等行变换对行阶梯形矩阵进一步化简
B 1 = [ 1 1 − 1 − 6 0 2 − 1 7 0 0 3 6 0 0 0 0 ] → [ 1 0 0 − 9 0 1 0 5 0 0 1 2 0 0 0 0 ] = B 2 B_1=\begin{bmatrix}\begin{array}{ccc:c}
1 & 1 & -1 & -6 \\
0 & 2 & -1 & 7\\
0 & 0 & 3 & 6 \\
0 & 0 & 0 & 0
\end{array}\end{bmatrix}\to\begin{bmatrix}\begin{array}{ccc:c}
1 & 0 & 0 & -9 \\
0 & 1 & 0 & 5\\
0 & 0 & 1 & 2 \\
0 & 0 & 0 & 0
\end{array}\end{bmatrix}=B_2
B 1 = ⎣ ⎢ ⎢ ⎡ 1 0 0 0 1 2 0 0 − 1 − 1 3 0 − 6 7 6 0 ⎦ ⎥ ⎥ ⎤ → ⎣ ⎢ ⎢ ⎡ 1 0 0 0 0 1 0 0 0 0 1 0 − 9 5 2 0 ⎦ ⎥ ⎥ ⎤ = B 2
称形如 B 2 B_2 B 2 简化行阶梯形矩阵 (Reduced Row Echelon Form，RREF)。其特点是：
(1) 每个非零行主元都是1；
通过简化行阶梯形矩阵，我们可以直接写出解 x 1 = − 9 , x 2 = 5 , x 3 = 2 x_1=-9,x_2=5,x_3=2 x 1 = − 9 , x 2 = 5 , x 3 = 2
使用矩阵消元法，我们可以知道任何矩阵都可以经过有限次初等行变换化成行阶梯形矩阵，任何矩阵也可进一步化成简化行阶梯形矩阵 。
从最后的简化行阶梯形矩阵可以直接写出一般解，但注意把自由变量的系数变号移到等式右边。
假设某方程组的增广矩阵行已变换为阶梯形矩阵
[ 1 0 − 5 1 0 1 1 4 0 0 0 0 ] \begin{bmatrix}\begin{array}{ccc:c}
1 & 0 & -5 & 1 \\
0 & 1 & 1 & 4\\
0 & 0 & 0 & 0
\end{array}\end{bmatrix}
⎣ ⎡ 1 0 0 0 1 0 − 5 1 0 1 4 0 ⎦ ⎤
对应的线性方程组是
{ x 1 − 5 x 3 = 1 x 2 + x 3 = 4 0 = 0 \begin{cases}
\begin{alignedat}{4}
x_1&&-5x_3& = 1 \\
&\quad\ x_2&+x_3 &= 4 \\
&\quad &\quad 0& =0
\end{alignedat}
\end{cases}
⎩ ⎪ ⎨ ⎪ ⎧ x 1 x 2 − 5 x 3 + x 3 0 = 1 = 4 = 0
方程组的解可显示表示为 x 1 = 1 + 5 x 3 , x 2 = 4 − x 3 x_1=1+5x_3,\ x_2=4-x_3 x 1 = 1 + 5 x 3 , x 2 = 4 − x 3
把 n n n r r r r r r 主变量 ，剩下的 n − r n-r n − r 自由变量 ，其值可任取。
假设某方程组的增广矩阵行已变换为阶梯形矩阵
[ 2 − 3 2 1 0 1 − 4 8 0 0 0 15 ] \begin{bmatrix}\begin{array}{ccc:c}
2 & -3 & 2 & 1 \\
0 & 1 & -4 & 8\\
0 & 0 & 0 & 15
\end{array}\end{bmatrix}
⎣ ⎡ 2 0 0 − 3 1 0 2 − 4 0 1 8 1 5 ⎦ ⎤
对应的线性方程组是
{ 2 x 1 − 3 x 2 + 2 x 3 = 1 x 2 − 4 x 3 = 8 0 = 15 \begin{cases}
\begin{alignedat}{4}
2x_1&-3x_2&+2x_3& = 1 \\
&\quad\ x_2&-4x_3 &= 8 \\
&\quad &\quad 0& = 15
\end{alignedat}
\end{cases}
⎩ ⎪ ⎨ ⎪ ⎧ 2 x 1 − 3 x 2 x 2 + 2 x 3 − 4 x 3 0 = 1 = 8 = 1 5
这个阶梯形方程组显然是矛盾的，故原方程组无解。
解的情况 ：线性方程组有解的充要条件是增广矩阵的增广列不是主元列，即行阶梯形方程组不包含矛盾方程。若线性方程组有解，则解有两种情况：(1) 当没有自由变量时，有唯 一解；(2) 当有自由变量是，有无穷多解。
应用向量加法和数乘运算，线性方程组 A x = b A\mathbf x=\mathbf b A x = b 向量方程
x 1 a 1 + x 2 a 2 + ⋯ + x n a n = b x_1\mathbf a_1+x_2\mathbf a_2+\cdots+x_n\mathbf a_n=\mathbf b
x 1 a 1 + x 2 a 2 + ⋯ + x n a n = b
其中 a 1 , a 2 , ⋯ , a n \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n a 1 , a 2 , ⋯ , a n A A A b \mathbf b b s = ( x 1 , x 2 , ⋯ , x n ) T s=(x_1,x_2,\cdots,x_n)^T s = ( x 1 , x 2 , ⋯ , x n ) T 解向量 。
例如，方程组
{ 2 x 1 − x 2 + x 3 = 4 4 x 1 + 2 x 2 − x 3 = − 1 \begin{cases}
\begin{alignedat}{4}
2x_1&-x_2&+x_3& = 4 \\
4x_1&+2x_2&-x_3& = -1
\end{alignedat}
\end{cases}
{ 2 x 1 4 x 1 − x 2 + 2 x 2 + x 3 − x 3 = 4 = − 1
可以表述为
[ 2 4 ] x 1 + [ − 1 2 ] x 2 + [ 1 − 1 ] x 3 = [ 4 − 1 ] \begin{bmatrix}2\\4\end{bmatrix}x_1+
\begin{bmatrix}-1\\2\end{bmatrix}x_2+
\begin{bmatrix}1\\-1\end{bmatrix}x_3=
\begin{bmatrix}4\\-1\end{bmatrix}
[ 2 4 ] x 1 + [ − 1 2 ] x 2 + [ 1 − 1 ] x 3 = [ 4 − 1 ]
既然可表示为向量的形式，那么就可以从向量的角度分析。向量方程是否有解的问题等价于判断常数向量 b \mathbf b b b \mathbf b b col A = span { a 1 , a 2 , ⋯ , a n } \text{col }A=\text{span}\{\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n\} col A = span { a 1 , a 2 , ⋯ , a n }
结论 ：方程 A x = b A\mathbf x=\mathbf b A x = b b \mathbf b b A A A
以线性变换的角度理解，希望找出未知向量 x \mathbf x x A A A b \mathbf b b
常数项都为零的线性方程组 A x = 0 A\mathbf{x}=0 A x = 0 齐次线性方程组 。向量方程为
x 1 a 1 + x 2 a 2 + ⋯ + x n a n = 0 x_1\mathbf a_1+x_2\mathbf a_2+\cdots+x_n\mathbf a_n=0
x 1 a 1 + x 2 a 2 + ⋯ + x n a n = 0
齐次线性方程组显然有一组解
x 1 = x 2 = ⋯ = x n = 0 x_1=x_2=\cdots=x_n=0
x 1 = x 2 = ⋯ = x n = 0
这组解称为零解 或平凡解 。除此之外的其他解称为非零解 或非平凡解 。
方程 A m × n x = 0 A_{m\times n}\mathbf{x}=0 A m × n x = 0 A A A rank ( A ) < n \text{rank}(A)<n rank ( A ) < n
齐次线性方程组的解有如下性质
如果 s 1 , s 2 s_1,s_2 s 1 , s 2 s 1 + s 2 s_1+s_2 s 1 + s 2
如果 s s s k k k k s ks k s
这两条性质只要直接代入向量方程进行验证就可以。
显然，系数矩阵为 A A A
ker A = { x ∣ A x = 0 } \ker A=\{\mathbf x|A\mathbf{x}=0\}
ker A = { x ∣ A x = 0 }
满足向量空间的条件， 称为零空间 (nullspace)或核 (kernel)。解空间的一组基 s 1 , s 2 , ⋯ , s n − r s_1,s_2,\cdots,s_{n-r} s 1 , s 2 , ⋯ , s n − r 基础解系 。零空间的维数即为自由变量的个数 。
如果能找到基础解系，就能描述整个解空间。
定理 ：
方程 A m × n x = 0 A_{m\times n}\mathbf{x}=0 A m × n x = 0 rank ( A ) < n \text{rank}(A)<n rank ( A ) < n
方程 A m × n x = 0 A_{m\times n}\mathbf{x}=0 A m × n x = 0 n − rank ( A ) n-\text{rank}(A) n − rank ( A )
设 A A A V V V
dim V = dim ( range A ) + dim ( ker A ) \dim V=\dim(\text{range }A)+\dim(\ker A)
dim V = dim ( range A ) + dim ( ker A )
可以用系数矩阵的初等行变换来求基础解系。
示例：求下列齐次线性方程组的解集。
{ x 2 − x 3 + x 4 − x 5 = 0 x 1 + x 3 + 2 x 4 − x 5 = 0 x 1 + x 2 + 3 x 4 − 2 x 5 = 0 2 x 1 + 2 x 2 + 6 x 4 − 3 x 5 = 0 \begin{cases}
x_2-x_3+x_4-x_5=0 \\
x_1+x_3+2x_4-x_5=0 \\
x_1+x_2+3x_4-2x_5=0 \\
2x_1+2x_2+6x_4-3x_5=0
\end{cases}
⎩ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎧ x 2 − x 3 + x 4 − x 5 = 0 x 1 + x 3 + 2 x 4 − x 5 = 0 x 1 + x 2 + 3 x 4 − 2 x 5 = 0 2 x 1 + 2 x 2 + 6 x 4 − 3 x 5 = 0
解：先做矩阵消元法获得阶梯形矩阵和简化阶梯形矩阵
A = [ 0 1 − 1 1 − 1 1 0 1 2 − 1 1 1 0 3 − 2 2 2 0 6 − 3 ] → [ 1 0 1 2 − 1 0 1 − 1 1 − 1 0 0 0 0 1 0 0 0 0 0 ] → [ 1 0 1 2 0 0 1 − 1 1 0 0 0 0 0 1 0 0 0 0 0 ] A=\begin{bmatrix}
0&1&-1&1&-1 \\
1&0&1&2&-1 \\
1&1&0&3&-2 \\
2&2&0&6&-3
\end{bmatrix}\to
\begin{bmatrix}
1&0&1&2&-1 \\
0&1&-1&1&-1 \\
0&0&0&0&1 \\
0&0&0&0&0
\end{bmatrix}\to
\begin{bmatrix}
1&0&1&2&0 \\
0&1&-1&1&0 \\
0&0&0&0&1 \\
0&0&0&0&0
\end{bmatrix}
A = ⎣ ⎢ ⎢ ⎡ 0 1 1 2 1 0 1 2 − 1 1 0 0 1 2 3 6 − 1 − 1 − 2 − 3 ⎦ ⎥ ⎥ ⎤ → ⎣ ⎢ ⎢ ⎡ 1 0 0 0 0 1 0 0 1 − 1 0 0 2 1 0 0 − 1 − 1 1 0 ⎦ ⎥ ⎥ ⎤ → ⎣ ⎢ ⎢ ⎡ 1 0 0 0 0 1 0 0 1 − 1 0 0 2 1 0 0 0 0 1 0 ⎦ ⎥ ⎥ ⎤
因此
{ x 1 = − x 3 − 2 x 4 x 2 = x 3 − x 4 x 5 = 0 \begin{cases}
x_1=-x_3-2x_4 \\
x_2=x_3-x_4 \\
x_5=0
\end{cases}
⎩ ⎪ ⎨ ⎪ ⎧ x 1 = − x 3 − 2 x 4 x 2 = x 3 − x 4 x 5 = 0
可写为解向量的形式
[ x 1 x 2 x 3 x 4 x 5 ] = x 3 [ − 1 1 1 0 0 ] + x 4 [ − 2 − 1 0 1 0 ] \begin{bmatrix}x_1 \\ x_2 \\ x_3 \\ x_4 \\ x_5\end{bmatrix}=
x_3\begin{bmatrix}-1 \\ 1 \\ 1 \\ 0 \\ 0\end{bmatrix}
+x_4\begin{bmatrix}-2\\-1\\0\\1\\0\end{bmatrix}
⎣ ⎢ ⎢ ⎢ ⎢ ⎡ x 1 x 2 x 3 x 4 x 5 ⎦ ⎥ ⎥ ⎥ ⎥ ⎤ = x 3 ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ − 1 1 1 0 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎤ + x 4 ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ − 2 − 1 0 1 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎤
对于非齐次线性方程组 A x = 0 A\mathbf{x}=0 A x = 0 x 1 a 1 + x 2 a 2 + ⋯ + x n a n = b x_1\mathbf a_1+x_2\mathbf a_2+\cdots+x_n\mathbf a_n=\mathbf b x 1 a 1 + x 2 a 2 + ⋯ + x n a n = b b \mathbf b b span { a 1 , a 2 , ⋯ , a n } \text{span}\{\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n\} span { a 1 , a 2 , ⋯ , a n }
判别定理 ：线性方程组有解的充要条件是其系数矩阵A A A A ˉ \bar A A ˉ rank ( A ) = rank ( A ˉ ) \text{rank}(A)=\text{rank}(\bar A) rank ( A ) = rank ( A ˉ )
通俗理解就是，变换后的阶梯形方程组不存在 0 = b 0=b 0 = b
解的结构：设 n n n rank ( A ) = rank ( A ˉ ) \text{rank}(A)=\text{rank}(\bar A) rank ( A ) = rank ( A ˉ )
(1) 若 rank ( A ) = n \text{rank}(A)=n rank ( A ) = n rank ( A ) < n \text{rank}(A)<n rank ( A ) < n
非齐次线性方程组 A x = b A\mathbf x=\mathbf b A x = b A x = 0 A\mathbf x=0 A x = 0 导出方程组 。解的关系：
A x = b A\mathbf x=\mathbf b A x = b A x = 0 A\mathbf x=0 A x = 0 A x = b A\mathbf x=\mathbf b A x = b A x = b A\mathbf x=\mathbf b A x = b
如下图
示例：求下列线性方程组的全部解
{ x 1 + 4 x 2 − 5 x 3 = 0 2 x 1 − x 2 + 8 x 3 = 9 \begin{cases}
\begin{alignedat}{4}
x_1&+4x_2&-5x_3& = 0 \\
2x_1&-x_2&+8x_3& = 9
\end{alignedat}
\end{cases}
{ x 1 2 x 1 + 4 x 2 − x 2 − 5 x 3 + 8 x 3 = 0 = 9
解：对方程组的增广矩阵做初等行变换获得阶梯形矩阵和简化阶梯形矩阵
A ˉ = [ 1 4 − 5 0 2 − 1 8 9 ] → [ 1 4 − 5 0 0 − 9 18 9 ] → [ 1 0 3 4 0 1 − 2 1 ] \bar A=\begin{bmatrix}\begin{array}{ccc:c}
1&4&-5&0 \\
2&-1&8&9
\end{array}\end{bmatrix}\to
\begin{bmatrix}\begin{array}{ccc:c}
1&4&-5&0 \\
0&-9&18&9
\end{array}\end{bmatrix}\to
\begin{bmatrix}\begin{array}{ccc:c}
1&0&3&4 \\
0&1&-2&1
\end{array}\end{bmatrix}
A ˉ = [ 1 2 4 − 1 − 5 8 0 9 ] → [ 1 0 4 − 9 − 5 1 8 0 9 ] → [ 1 0 0 1 3 − 2 4 1 ]
因此
{ x 1 = 4 − 3 x 3 x 2 = 1 + 2 x 3 \begin{cases}
x_1=4-3x_3 \\
x_2=1+2x_3
\end{cases}
{ x 1 = 4 − 3 x 3 x 2 = 1 + 2 x 3
解向量的形式为
[ x 1 x 2 x 3 ] = [ 4 1 0 ] + x 3 [ − 3 2 1 ] \begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=
\begin{bmatrix}4\\1\\0\end{bmatrix}
+x_3\begin{bmatrix}-3 \\ 2 \\ 1 \end{bmatrix}
⎣ ⎡ x 1 x 2 x 3 ⎦ ⎤ = ⎣ ⎡ 4 1 0 ⎦ ⎤ + x 3 ⎣ ⎡ − 3 2 1 ⎦ ⎤
行列式引自对线性方程组的求解。考虑两个方程的二元线性方程组
{ a 11 x 1 + a 12 x 2 = b 1 a 21 x 1 + a 22 x 2 = b 2 \begin{cases}
a_{11}x_1+a_{12}x_2=b_1 \\
a_{21}x_1+a_{22}x_2=b_2
\end{cases}
{ a 1 1 x 1 + a 1 2 x 2 = b 1 a 2 1 x 1 + a 2 2 x 2 = b 2
可使用消元法，得
( a 11 a 22 − a 12 a 21 ) x 1 = b 1 a 22 − a 12 b 2 ( a 11 a 22 − a 12 a 21 ) x 2 = a 11 b 2 − b 1 a 21 (a_{11}a_{22}-a_{12}a_{21})x_1=b_1a_{22}-a_{12}b_2 \\
(a_{11}a_{22}-a_{12}a_{21})x_2=a_{11}b_2-b_1a_{21}
( a 1 1 a 2 2 − a 1 2 a 2 1 ) x 1 = b 1 a 2 2 − a 1 2 b 2 ( a 1 1 a 2 2 − a 1 2 a 2 1 ) x 2 = a 1 1 b 2 − b 1 a 2 1
当 a 11 a 22 − a 12 a 21 ≠ 0 a_{11}a_{22}-a_{12}a_{21}\neq 0 a 1 1 a 2 2 − a 1 2 a 2 1 = 0
x 1 = b 1 a 22 − a 12 b 2 a 11 a 22 − a 12 a 21 , x 2 = a 11 b 2 − b 1 a 21 a 11 a 22 − a 12 a 21 x_1=\frac{b_1a_{22}-a_{12}b_2}{a_{11}a_{22}-a_{12}a_{21}},\quad
x_2=\frac{a_{11}b_2-b_1a_{21}}{a_{11}a_{22}-a_{12}a_{21}}
x 1 = a 1 1 a 2 2 − a 1 2 a 2 1 b 1 a 2 2 − a 1 2 b 2 , x 2 = a 1 1 a 2 2 − a 1 2 a 2 1 a 1 1 b 2 − b 1 a 2 1
从方程组解来看，分母 a 11 a 22 − a 12 a 21 a_{11}a_{22}-a_{12}a_{21} a 1 1 a 2 2 − a 1 2 a 2 1 A = [ a 11 a 12 a 21 a 22 ] A=\begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22}\end{bmatrix} A = [ a 1 1 a 2 1 a 1 2 a 2 2 ] A A A 二阶行列式 (determinant)，记为 det A \det A det A ∣ A ∣ |A| ∣ A ∣
∣ a 11 a 12 a 21 a 22 ∣ = a 11 a 22 − a 12 a 21 \begin{vmatrix}
a_{11} & a_{12} \\
a_{21} & a_{22}
\end{vmatrix}=a_{11}a_{22}-a_{12}a_{21}
∣ ∣ ∣ ∣ a 1 1 a 2 1 a 1 2 a 2 2 ∣ ∣ ∣ ∣ = a 1 1 a 2 2 − a 1 2 a 2 1
利用二阶行列式的概念，分子也可写为二阶行列式
det A 1 = ∣ b 1 a 12 b 2 a 22 ∣ = b 1 a 22 − a 12 b 2 det A 2 = ∣ a 11 b 1 a 21 b 2 ∣ = a 11 b 2 − b 1 a 21 \det A_1=\begin{vmatrix} b_1 & a_{12} \\ b_2 & a_{22}\end{vmatrix}=b_1a_{22}-a_{12}b_2 \\
\det A_2=\begin{vmatrix} a_{11} & b_1 \\ a_{21} & b_2\end{vmatrix}=a_{11}b_2-b_1a_{21}
det A 1 = ∣ ∣ ∣ ∣ b 1 b 2 a 1 2 a 2 2 ∣ ∣ ∣ ∣ = b 1 a 2 2 − a 1 2 b 2 det A 2 = ∣ ∣ ∣ ∣ a 1 1 a 2 1 b 1 b 2 ∣ ∣ ∣ ∣ = a 1 1 b 2 − b 1 a 2 1
从上面对比可以看出，x j x_j x j A j A_j A j A A A j j j
x 1 = det A 1 det A , x 2 = det A 2 det A x_1=\frac{\det A_1}{\det A},\quad
x_2=\frac{\det A_2}{\det A}
x 1 = det A det A 1 , x 2 = det A det A 2
n n n 考虑三个方程的三元线性方程组，系数矩阵为
A = [ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ] A=\begin{bmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\a_{31} & a_{32} & a_{33}\end{bmatrix}
A = ⎣ ⎡ a 1 1 a 2 1 a 3 1 a 1 2 a 2 2 a 3 2 a 1 3 a 2 3 a 3 3 ⎦ ⎤
用消元法可知未知数的分母同样是系数矩阵A A A
∣ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ∣ = a 11 a 22 a 33 + a 12 a 23 a 31 + a 13 a 21 a 32 − a 11 a 23 a 32 − a 12 a 21 a 33 − a 13 a 22 a 31 \begin{vmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\a_{31} & a_{32} & a_{33}\end{vmatrix}
=a_{11}a_{22}a_{33}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}
-a_{11}a_{23}a_{32}-a_{12}a_{21}a_{33}-a_{13}a_{22}a_{31}
∣ ∣ ∣ ∣ ∣ ∣ a 1 1 a 2 1 a 3 1 a 1 2 a 2 2 a 3 2 a 1 3 a 2 3 a 3 3 ∣ ∣ ∣ ∣ ∣ ∣ = a 1 1 a 2 2 a 3 3 + a 1 2 a 2 3 a 3 1 + a 1 3 a 2 1 a 3 2 − a 1 1 a 2 3 a 3 2 − a 1 2 a 2 1 a 3 3 − a 1 3 a 2 2 a 3 1
由二阶行列式的定义，上式可变为
∣ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ∣ = a 11 ∣ a 22 a 23 a 32 a 33 ∣ − a 12 ∣ a 21 a 23 a 31 a 33 ∣ + a 13 ∣ a 11 a 12 a 21 a 22 ∣ \begin{vmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\a_{31} & a_{32} & a_{33}\end{vmatrix}=
a_{11}\begin{vmatrix} a_{22} & a_{23} \\ a_{32} & a_{33}\end{vmatrix}-
a_{12}\begin{vmatrix} a_{21} & a_{23} \\ a_{31} & a_{33}\end{vmatrix}+
a_{13}\begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22}\end{vmatrix}
∣ ∣ ∣ ∣ ∣ ∣ a 1 1 a 2 1 a 3 1 a 1 2 a 2 2 a 3 2 a 1 3 a 2 3 a 3 3 ∣ ∣ ∣ ∣ ∣ ∣ = a 1 1 ∣ ∣ ∣ ∣ a 2 2 a 3 2 a 2 3 a 3 3 ∣ ∣ ∣ ∣ − a 1 2 ∣ ∣ ∣ ∣ a 2 1 a 3 1 a 2 3 a 3 3 ∣ ∣ ∣ ∣ + a 1 3 ∣ ∣ ∣ ∣ a 1 1 a 2 1 a 1 2 a 2 2 ∣ ∣ ∣ ∣
进一步探索 n n n a i j a_{ij} a i j a i j a_{ij} a i j 余子式 (cofactor)，记作 M i j M_{ij} M i j
A i j = ( − 1 ) i + j M i j A_{ij}=(-1)^{i+j}M_{ij}
A i j = ( − 1 ) i + j M i j
为 a i j a_{ij} a i j 代数余子式 (algebraic cofactor)。
定义 ：方阵 A A A
det A = ∣ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a n 1 a n 2 ⋯ a n n ∣ = ∑ j = 1 n a 1 j A 1 j \det A=\begin{vmatrix}
a_{11}&a_{12}&\cdots&a_{1n} \\
a_{21}&a_{22}&\cdots&a_{2n} \\
\vdots&\vdots&\ddots&\vdots \\
a_{n1}&a_{n2}&\cdots&a_{nn} \\
\end{vmatrix}=\sum_{j=1}^na_{1j}A_{1j}
det A = ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ a 1 1 a 2 1 ⋮ a n 1 a 1 2 a 2 2 ⋮ a n 2 ⋯ ⋯ ⋱ ⋯ a 1 n a 2 n ⋮ a n n ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ = j = 1 ∑ n a 1 j A 1 j
由定义易知，行列式可以按任意行(列)展开。
\det A=\sum_{j=1}^na_{ij}A_{ij}, & \text{by row }i \\
\det A=\sum_{i=1}^na_{ij}A_{ij}, & \text{by col }j
性质 ：使用数学归纳法可知
行列式与其转置行列式相等：det A T = det A \det A^T=\det A det A T = det A
互换行列式两行(列)，行列式改变符号。
∣ a b c d ∣ = − ∣ c d a b ∣ \begin{vmatrix}a&b\\c&d\end{vmatrix}=-\begin{vmatrix}c&d\\a&b\end{vmatrix}
∣ ∣ ∣ ∣ a c b d ∣ ∣ ∣ ∣ = − ∣ ∣ ∣ ∣ c a d b ∣ ∣ ∣ ∣
行列式的某一行(列)所有元素同乘以数k k k k k k
∣ k a b k c d ∣ = k ∣ a b c d ∣ \begin{vmatrix}ka&b\\kc&d\end{vmatrix}=k\begin{vmatrix}a&b\\c&d\end{vmatrix}
∣ ∣ ∣ ∣ k a k c b d ∣ ∣ ∣ ∣ = k ∣ ∣ ∣ ∣ a c b d ∣ ∣ ∣ ∣
若行列式的某一行(列)的为两组数之和，则可表示为两行列式之和。
∣ a 1 + a 2 b c 1 + c 2 d ∣ = ∣ a 1 b c 1 d ∣ + ∣ a 2 b c 2 d ∣ \begin{vmatrix}a_1+a_2&b\\c_1+c_2&d\end{vmatrix}=\begin{vmatrix}a_1&b\\c_1&d\end{vmatrix}+\begin{vmatrix}a_2&b\\c_2&d\end{vmatrix}
∣ ∣ ∣ ∣ a 1 + a 2 c 1 + c 2 b d ∣ ∣ ∣ ∣ = ∣ ∣ ∣ ∣ a 1 c 1 b d ∣ ∣ ∣ ∣ + ∣ ∣ ∣ ∣ a 2 c 2 b d ∣ ∣ ∣ ∣
把行列式的某一行(列)所有元素同乘以数 k k k
∣ a b c d ∣ = ∣ a + k b b c + k d d ∣ \begin{vmatrix}a&b\\c&d\end{vmatrix}=\begin{vmatrix}a+kb&b\\c+kd&d\end{vmatrix}
∣ ∣ ∣ ∣ a c b d ∣ ∣ ∣ ∣ = ∣ ∣ ∣ ∣ a + k b c + k d b d ∣ ∣ ∣ ∣
矩阵乘积的行列式等于行列式的乘积：det ( A B ) = ( det A ) ( det B ) = det ( B A ) \det(AB)=(\det A)(\det B)=\det(BA) det ( A B ) = ( det A ) ( det B ) = det ( B A )
推论 ：
行列式中若有两行(列)元素相同，该行列式的值为零。
行列式中某一行(列)的公因子可以提取到行列式符号外面。
行列式中若有两行(列)元素成比例，则此行列式等于零。
det ( k A ) = k n det A \det(kA)=k^n\det A det ( k A ) = k n det A
由上面的性质，我们很容易得到：
出现零行和零列的行列式为零。
对角阵 A = diag ( λ 1 , λ 2 , ⋯ , λ n ) A=\text{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n) A = diag ( λ 1 , λ 2 , ⋯ , λ n ) det A = λ 1 λ 2 ⋯ λ n \det A=\lambda_1\lambda_2\cdots\lambda_n det A = λ 1 λ 2 ⋯ λ n
如果 A A A
对于高阶行列式，一般利用行列式的性质，初等变换化为三角行列式求解。
示例：可用数学归纳法证明范德蒙行列式 (Vandermonde determinant)：
∣ 1 1 ⋯ 1 a 1 a 2 ⋯ a n a 1 2 a 2 2 ⋯ a n 2 ⋮ ⋮ ⋮ ⋮ a 1 n − 1 a 2 n − 1 ⋯ a n n − 1 ∣ = ∏ 1 ⩽ i < j ⩽ n ( a j − a i ) \begin{vmatrix}
1 & 1& \cdots &1 \\
a_1 &a_2&\cdots &a_n \\
a_1^2 &a_2^2&\cdots &a_n^2 \\
\vdots &\vdots&\vdots &\vdots \\
a_1^{n-1} &a_2^{n-1}&\cdots &a_n^{n-1}
\end{vmatrix}=\prod_{1⩽ i<j⩽n}(a_j-a_i)
∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ 1 a 1 a 1 2 ⋮ a 1 n − 1 1 a 2 a 2 2 ⋮ a 2 n − 1 ⋯ ⋯ ⋯ ⋮ ⋯ 1 a n a n 2 ⋮ a n n − 1 ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ = 1 ⩽ i < j ⩽ n ∏ ( a j − a i )
行列式函数 ：若 A A A n n n det A \det A det A A A A n n n A A A det A \det A det A
假设第 j j j x ↦ T ( x ) \mathbf x\mapsto T(\mathbf x) x ↦ T ( x )
T ( x ) = det A = det [ a 1 ⋯ x ⋯ a n ] T(\mathbf x)=\det A=\det\begin{bmatrix}\mathbf a_1\cdots\mathbf x\cdots\mathbf a_n\end{bmatrix}
T ( x ) = det A = det [ a 1 ⋯ x ⋯ a n ]
则有
T ( c x ) = c T ( x ) T ( u + v ) = T ( u ) + T ( v ) T(c\mathbf x)=cT(\mathbf x) \\
T(\mathbf u+\mathbf v)=T(\mathbf u)+T(\mathbf v)
T ( c x ) = c T ( x ) T ( u + v ) = T ( u ) + T ( v )
这里只讨论方程个数和未知数相等的n n n
A x = b A\mathbf x=\mathbf b
A x = b
若 det A ≠ 0 \det A\neq0 det A = 0
x j = det A j ( b ) det A , ( j = 1 , 2 , ⋯ , n ) x_j=\frac{\det A_j(\mathbf b)}{\det A},\quad(j=1,2,\cdots,n)
x j = det A det A j ( b ) , ( j = 1 , 2 , ⋯ , n )
约定 A j ( b ) A_j(\mathbf b) A j ( b ) b \mathbf b b A A A j j j
证：用a 1 , a 2 , ⋯ , a n \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n a 1 , a 2 , ⋯ , a n A A A e 1 , e 2 , ⋯ , e n \mathbf e_1,\mathbf e_2,\cdots,\mathbf e_n e 1 , e 2 , ⋯ , e n I n I_n I n
A I j ( x ) = A [ e 1 ⋯ x ⋯ e n ] = [ A e 1 ⋯ A x ⋯ A e n ] = [ a 1 ⋯ b ⋯ a n ] = A j ( b ) \begin{aligned}
AI_j(\mathbf x)&=A\begin{bmatrix}\mathbf e_1&\cdots&\mathbf x&\cdots&\mathbf e_n\end{bmatrix} \\
&=\begin{bmatrix}A\mathbf e_1&\cdots& A\mathbf x&\cdots& A\mathbf e_n\end{bmatrix} \\
&=\begin{bmatrix}\mathbf a_1&\cdots&\mathbf b&\cdots&\mathbf a_n\end{bmatrix} \\
&=A_j(\mathbf b)
\end{aligned}
A I j ( x ) = A [ e 1 ⋯ x ⋯ e n ] = [ A e 1 ⋯ A x ⋯ A e n ] = [ a 1 ⋯ b ⋯ a n ] = A j ( b )
由行列式的乘法性质
det A det I j ( x ) = det A j ( b ) \det A\det I_j(\mathbf x)=\det A_j(\mathbf b)
det A det I j ( x ) = det A j ( b )
左边第二个行列式可沿第 j j j det I j ( x ) = x j \det I_j(\mathbf x)=x_j det I j ( x ) = x j
x j det A = det A j ( b ) x_j\det A=\det A_j(\mathbf b)
x j det A = det A j ( b )
若 det A ≠ 0 \det A\neq0 det A = 0
Grant：行列式告诉你一个线性变换对区域的缩放比例。
我们已经知道，线性变换保持网格线平行且等距。为了方便，我们只考虑在平面直角坐标系内，单位基向量 i , j \mathbf i,\mathbf j i , j
根据向量加法的平行四边形法则和线性变换基本性质知，变换后的区域为矩阵 A = [ a b c d ] A=\begin{bmatrix}a & b\\c & d\end{bmatrix} A = [ a c b d ] [ a c ] \begin{bmatrix}a\\c\end{bmatrix} [ a c ] [ b d ] \begin{bmatrix}b\\d\end{bmatrix} [ b d ]
结论 ：二阶行列式的值表示由 A A A
(1) 若 A A A det [ a b 0 d ] \det\begin{bmatrix}a & b\\0 & d\end{bmatrix} det [ a 0 b d ] a a a d d d
(2) 更一般的情况 A = [ a b c d ] A=\begin{bmatrix}a & b\\c & d\end{bmatrix} A = [ a c b d ]
(3) 矩阵 [ a 2 a a 1 ] \begin{bmatrix}a^2 & a\\a & 1\end{bmatrix} [ a 2 a a 1 ]
单位正方形区域缩放的比例，其实可以代表任意给定区域缩放的比例。这是因为，线性变换保持网格线平行且等距。对于空间中任意区域的面积，借助微积分的思想，我们可以采用足够的小方格来逼近区域的面积，对所有小方格等比例缩放，则整个区域也以同样的比例缩放。
volume T ( Ω ) = ( det T ) ( volume Ω ) \text{volume }T(\Omega) = (\det T)(\text{volume }\Omega)
volume T ( Ω ) = ( det T ) ( volume Ω )
通过行列式的几何意义，我们就建立了线性变换、矩阵、行列式之间的关系。不难得出
复合线性变换缩放的比例相当于每次变换缩放比例的乘积，即
det A B = det A det B \det AB=\det A\det B
det A B = det A det B
行列式的值为零，表示将空间压缩到更低的维度，矩阵的列向量线性相关
转置 ：矩阵A A A A A A A T A^T A T
性质 ：矩阵转置运算满足下列性质：
( A + B ) T = A T + B T (A+B)^T=A^T+B^T ( A + B ) T = A T + B T ( A T ) T = A (A^T)^T=A ( A T ) T = A ( k A ) T = k A T (kA)^T=kA^T ( k A ) T = k A T ( A B ) T = B T A T (AB)^T=B^TA^T ( A B ) T = B T A T ( A T ) − 1 = ( A − 1 ) T (A^T)^{-1}=(A^{-1})^T ( A T ) − 1 = ( A − 1 ) T
三角矩阵 ：(triangular matrix)主对角线的下方元素都是零的方阵，称为上三角矩阵 。类似的，主对角线的上方元素都是零的方阵，称为下三角矩阵 。
[ a 11 a 12 ⋯ a 1 n a 22 ⋯ a 2 n ⋱ ⋮ a n n ] , [ a 11 a 21 a 22 ⋮ ⋮ ⋱ a n 1 a n 2 ⋯ a n n ] \begin{bmatrix}
a_{11}&a_{12}&\cdots&a_{1n} \\
&a_{22}&\cdots&a_{2n} \\
&&\ddots&\vdots \\
&&&a_{nn} \\
\end{bmatrix},\quad
\begin{bmatrix}
a_{11}&&& \\
a_{21}&a_{22}&& \\
\vdots&\vdots&\ddots& \\
a_{n1}&a_{n2}&\cdots&a_{nn} \\
\end{bmatrix}
⎣ ⎢ ⎢ ⎢ ⎡ a 1 1 a 1 2 a 2 2 ⋯ ⋯ ⋱ a 1 n a 2 n ⋮ a n n ⎦ ⎥ ⎥ ⎥ ⎤ , ⎣ ⎢ ⎢ ⎢ ⎡ a 1 1 a 2 1 ⋮ a n 1 a 2 2 ⋮ a n 2 ⋱ ⋯ a n n ⎦ ⎥ ⎥ ⎥ ⎤
上(下)三角阵的行列式为主对角线元素的乘积
det A = a 11 a 22 ⋯ a n n \det A=a_{11}a_{22}\cdots a_{nn}
det A = a 1 1 a 2 2 ⋯ a n n
对角阵 ：不在主对角线上的元素全为零的矩阵称为对角阵 (diagonal matrix)，记作
d i a g ( a 1 , a 2 , ⋯ , a n ) = [ a 1 a 2 ⋱ a n ] \mathrm{diag}(a_1,a_2,\cdots,a_n)=\begin{bmatrix}
a_1 \\
&a_2 \\
&&\ddots \\
&&&a_n \\
\end{bmatrix}
d i a g ( a 1 , a 2 , ⋯ , a n ) = ⎣ ⎢ ⎢ ⎡ a 1 a 2 ⋱ a n ⎦ ⎥ ⎥ ⎤
对角阵有良好的性质：
两对角阵的乘积仍为对角阵
[ a 1 a 2 ⋱ a n ] [ b 1 b 2 ⋱ b n ] = [ a 1 b 1 a 2 b 2 ⋱ a n b n ] \begin{bmatrix}a_1 \\&a_2 \\&&\ddots \\&&&a_n \end{bmatrix}
\begin{bmatrix}b_1 \\&b_2 \\&&\ddots \\&&&b_n \end{bmatrix}=
\begin{bmatrix}a_1b_1 \\&a_2b_2 \\&&\ddots \\&&&a_nb_n \end{bmatrix}
⎣ ⎢ ⎢ ⎡ a 1 a 2 ⋱ a n ⎦ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎡ b 1 b 2 ⋱ b n ⎦ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎡ a 1 b 1 a 2 b 2 ⋱ a n b n ⎦ ⎥ ⎥ ⎤
对角阵的幂仍为对角阵
[ a 1 a 2 ⋱ a n ] k = [ a 1 k a 2 k ⋱ a n k ] \begin{bmatrix}a_1 \\&a_2 \\&&\ddots \\&&&a_n \end{bmatrix}^k=
\begin{bmatrix}a_1^k \\&a_2^k \\&&\ddots \\&&&a_n^k \end{bmatrix}
⎣ ⎢ ⎢ ⎡ a 1 a 2 ⋱ a n ⎦ ⎥ ⎥ ⎤ k = ⎣ ⎢ ⎢ ⎡ a 1 k a 2 k ⋱ a n k ⎦ ⎥ ⎥ ⎤
数量阵 ：主对角线上的元素都相等的对角阵，称为数量阵 (scalar matrix)。
d i a g ( a , a , ⋯ , a ) = [ a a ⋱ a ] \mathrm{diag}(a,a,\cdots,a)=\begin{bmatrix}
a \\
&a \\
&&\ddots \\
&&&a \\
\end{bmatrix}
d i a g ( a , a , ⋯ , a ) = ⎣ ⎢ ⎢ ⎡ a a ⋱ a ⎦ ⎥ ⎥ ⎤
数量阵得名于它的乘法。如二阶数量阵
[ k 0 0 k ] A = k [ 1 0 0 1 ] A = k A \begin{bmatrix}k&0 \\ 0&k \end{bmatrix}A=k\begin{bmatrix}1&0 \\ 0&1 \end{bmatrix}A=kA
[ k 0 0 k ] A = k [ 1 0 0 1 ] A = k A
单位阵 ：主对角线上的元素全为1的对角阵，称为单位阵 (identity matrix)。n n n E n E_n E n I n I_n I n
I 3 = [ 1 0 0 0 1 0 0 0 1 ] I_3=\begin{bmatrix}1&0&0 \\0&1&0 \\0&0&1 \\ \end{bmatrix}
I 3 = ⎣ ⎡ 1 0 0 0 1 0 0 0 1 ⎦ ⎤
对称阵 与反对称阵 ：设 A = ( a i j ) A=(a_{ij}) A = ( a i j ) n n n A T = A A^T=A A T = A a i j = a j i a_{ij}=a_{ji} a i j = a j i 对称阵 (symmetric matrix)；若A T = − A A^T=-A A T = − A a i j = − a j i a_{ij}=-a_{ji} a i j = − a j i 反对称阵 (skew-symmetric matrix)。
易证明 A A T AA^T A A T A T A A^TA A T A
方阵的幂 ：由于矩阵满足结合律，我们可以定义矩阵的幂运算
A 0 = I , A n = A A ⋯ A ⏞ n A^0=I,\quad A^n=\overbrace{AA\cdots A}^n
A 0 = I , A n = A A ⋯ A n
当矩阵 A A A
A − k = ( A − 1 ) k A^{-k}=(A^{-1})^k
A − k = ( A − 1 ) k
显然只有方阵的幂才有意义。幂运算满足如下性质：
A k A l = A k + l A^kA^l=A^{k+l} A k A l = A k + l ( A k ) l = A k l (A^k)^l=A^{kl} ( A k ) l = A k l
注意：因为矩阵乘法无交换率，因此一般情况下 ( A B ) k ≠ A k B k (AB)^k\neq A^kB^k ( A B ) k = A k B k
初等变换 ：矩阵初等行变换的定义同样适用于列，相应的记法为 c i ↔ c j , k c i , c i + k c j c_i\lrarr c_j,kc_i,c_i+kc_j c i ↔ c j , k c i , c i + k c j 初等变换 。若矩阵 A A A B B B A A A B B B 等价 (equivalent) 。
矩阵的初等变换是矩阵的一种最基本运算，其过程可以通过特殊矩阵的乘法来表示。
初等矩阵 ：由单位矩阵进行一次初等变换得到的矩阵称为初等矩阵 (elementary matrix)。易知初等矩阵都是可逆的。
三种初等变换对应着三种初等矩阵。由矩阵的乘法运算可以验证：对矩阵的初等行变换相当于左乘相应的初等矩阵；对矩阵的初等列变换相当于右乘相应的初等矩阵 。
互换变换，如 r 1 ↔ r 2 r_1\lrarr r_2 r 1 ↔ r 2
[ 0 1 0 1 0 0 0 0 1 ] [ a 1 b 1 a 2 b 2 a 3 b 3 ] = [ a 2 b 2 a 1 b 1 a 3 b 3 ] \begin{bmatrix}0&1&0 \\1&0&0\\0&0&1\end{bmatrix}
\begin{bmatrix}a_1&b_1 \\a_2&b_2\\a_3&b_3\end{bmatrix}=
\begin{bmatrix}a_2&b_2\\a_1&b_1 \\a_3&b_3\end{bmatrix}
⎣ ⎡ 0 1 0 1 0 0 0 0 1 ⎦ ⎤ ⎣ ⎡ a 1 a 2 a 3 b 1 b 2 b 3 ⎦ ⎤ = ⎣ ⎡ a 2 a 1 a 3 b 2 b 1 b 3 ⎦ ⎤
倍乘变换，如 2 r 1 2r_1 2 r 1
[ 2 0 0 0 1 0 0 0 1 ] [ a 1 b 1 a 2 b 2 a 3 b 3 ] = [ 2 a 1 b 1 a 2 b 2 a 3 b 3 ] \begin{bmatrix}2&0&0 \\0&1&0\\0&0&1\end{bmatrix}
\begin{bmatrix}a_1&b_1 \\a_2&b_2\\a_3&b_3\end{bmatrix}=
\begin{bmatrix}2a_1&b_1 \\a_2&b_2\\a_3&b_3\end{bmatrix}
⎣ ⎡ 2 0 0 0 1 0 0 0 1 ⎦ ⎤ ⎣ ⎡ a 1 a 2 a 3 b 1 b 2 b 3 ⎦ ⎤ = ⎣ ⎡ 2 a 1 a 2 a 3 b 1 b 2 b 3 ⎦ ⎤
倍加变换，如 r 1 + 2 r 2 r_1+2r_2 r 1 + 2 r 2
[ 1 2 0 0 1 0 0 0 1 ] [ a 1 b 1 a 2 b 2 a 3 b 3 ] = [ a 1 + 2 a 2 b 1 + 2 b 2 a 2 b 2 a 3 b 3 ] \begin{bmatrix}1&2&0 \\0&1&0\\0&0&1\end{bmatrix}
\begin{bmatrix}a_1&b_1 \\a_2&b_2\\a_3&b_3\end{bmatrix}=
\begin{bmatrix}a_1+2a_2&b_1+2b_2 \\a_2&b_2\\a_3&b_3\end{bmatrix}
⎣ ⎡ 1 0 0 2 1 0 0 0 1 ⎦ ⎤ ⎣ ⎡ a 1 a 2 a 3 b 1 b 2 b 3 ⎦ ⎤ = ⎣ ⎡ a 1 + 2 a 2 a 2 a 3 b 1 + 2 b 2 b 2 b 3 ⎦ ⎤
定理 ：任意一个可逆矩阵都可以表示为有限个初等矩阵的乘积。
由于初等矩阵可逆，所以初等矩阵的乘积亦可逆。
所有矩阵都可通过初等变换化为标准型
[ 1 ⋱ 1 } r 0 ⋱ 0 ] = [ I r O O O ] \begin{bmatrix}
\left.\begin{matrix}1&& \\ &\ddots&\\&&1\end{matrix}\right\}r & \\
&\begin{matrix}0 \\ &\ddots&\\&&0\end{matrix}
\end{bmatrix}=
\begin{bmatrix}I_r&O \\O&O\end{bmatrix}
⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 1 ⋱ 1 ⎭ ⎬ ⎫ r 0 ⋱ 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ = [ I r O O O ]
分块矩阵是矩阵运算的一种技巧。
在矩阵的运算和理论研究中，有时对矩阵进行分块处理，常常会简化矩阵的运算，或者使原矩阵显得结构简单而清晰。
[ 1 0 0 0 0 1 0 0 0 0 1 5 ] = [ I 2 O O A ] \begin{bmatrix}
\begin{array}{cc:cc}
1&0 & 0 & 0 \\
0&1 & 0 &0 \\
\hdashline
0&0 & 1 & 5
\end{array}\end{bmatrix}
=\begin{bmatrix}
I_2 & O \\
O & A
\end{bmatrix}
⎣ ⎡ 1 0 0 0 1 0 0 0 1 0 0 5 ⎦ ⎤ = [ I 2 O O A ]
像这样，结合矩阵本身的特点，把一个矩阵用横线和竖线划分为若干个子块，并以所分的子块为元素的矩阵称为分块矩阵 (Block matrix)。一个矩阵可用不同的方法分块。
分块矩阵的运算形式上和普通矩阵相同，把子块当成元素计算即可。
加法 ：设分块 A , B A,B A , B A + B = ( A i j + B i j ) A+B=(A_{ij}+B_{ij}) A + B = ( A i j + B i j )
[ A 1 B 1 C 1 D 1 ] + [ A 2 B 2 C 2 D 2 ] = [ A 1 + A 2 B 1 + B 2 C 1 + C 2 D 1 + D 2 ] \begin{bmatrix}A_1 & B_1 \\C_1 & D_1 \end{bmatrix}+
\begin{bmatrix}A_2 & B_2 \\C_2 & D_2 \end{bmatrix}=\begin{bmatrix}A_1+A_2 & B_1+B_2 \\C_1+C_2 & D_1+D_2 \end{bmatrix}
[ A 1 C 1 B 1 D 1 ] + [ A 2 C 2 B 2 D 2 ] = [ A 1 + A 2 C 1 + C 2 B 1 + B 2 D 1 + D 2 ]
数乘 ：分块矩阵 A A A
k [ A B C D ] = [ k A k B k C k D ] k\begin{bmatrix}A & B \\C & D \end{bmatrix}=\begin{bmatrix}kA & kB \\kC & kD \end{bmatrix}
k [ A C B D ] = [ k A k C k B k D ]
乘法 ：分块矩阵的乘法按矩阵乘法的形式计算。
A B = A [ b 1 b 2 ⋯ b p ] = [ A b 1 A b 2 ⋯ A b p ] AB=A\begin{bmatrix}\mathbf b_1&\mathbf b_2&\cdots&\mathbf b_p\end{bmatrix}=
\begin{bmatrix}A\mathbf b_1&A\mathbf b_2&\cdots&A\mathbf b_p\end{bmatrix}
A B = A [ b 1 b 2 ⋯ b p ] = [ A b 1 A b 2 ⋯ A b p ]
矩阵乘法的列行展开
A B = [ a 1 a 2 ⋯ a n ] [ b 1 b 2 ⋮ b n ] = a 1 b 1 + a 2 b 2 + ⋯ + a n b n AB=\begin{bmatrix}\mathbf a_1&\mathbf a_2&\cdots&\mathbf a_n\end{bmatrix}
\begin{bmatrix}\mathbf b_1\\\mathbf b_2\\\vdots\\\mathbf b_n\end{bmatrix}
=\mathbf a_1\mathbf b_1+\mathbf a_2\mathbf b_2+\cdots+\mathbf a_n\mathbf b_n
A B = [ a 1 a 2 ⋯ a n ] ⎣ ⎢ ⎢ ⎢ ⎡ b 1 b 2 ⋮ b n ⎦ ⎥ ⎥ ⎥ ⎤ = a 1 b 1 + a 2 b 2 + ⋯ + a n b n
转置 ：分块矩阵 A = ( A i j ) A=(A_{ij}) A = ( A i j ) A T = ( A i j T ) A^T=(A_{ij}^T) A T = ( A i j T )
分块上三角矩阵 ：
[ A B O D ] − 1 = [ A − 1 − A − 1 B D − 1 O D − 1 ] \begin{bmatrix}A&B\\O&D\end{bmatrix}^{-1}=
\begin{bmatrix}A^{-1}&-A^{-1}BD^{-1}\\O&D^{-1}\end{bmatrix}
[ A O B D ] − 1 = [ A − 1 O − A − 1 B D − 1 D − 1 ]
设分块矩阵 [ X 1 X 2 X 3 X 4 ] \begin{bmatrix}X_1&X_2\\X_3&X_4\end{bmatrix} [ X 1 X 3 X 2 X 4 ] [ A B O D ] \begin{bmatrix}A&B\\O&D\end{bmatrix} [ A O B D ]
[ A B O D ] [ X 1 X 2 X 3 X 4 ] = [ I p O O I q ] \begin{bmatrix}A&B\\O&D\end{bmatrix}
\begin{bmatrix}X_1&X_2\\X_3&X_4\end{bmatrix}
=\begin{bmatrix}I_p&O\\O&I_q\end{bmatrix}
[ A O B D ] [ X 1 X 3 X 2 X 4 ] = [ I p O O I q ]
这个矩阵方程包含了4个未知子块的方程
A X 1 + B X 3 = I p A X 2 + B X 4 = O D X 3 = O D X 4 = I q AX_1+BX_3=I_p \\
AX_2+BX_4=O \\
DX_3=O \\
DX_4=I_q
A X 1 + B X 3 = I p A X 2 + B X 4 = O D X 3 = O D X 4 = I q
若 D D D X 3 = O , X 4 = D − 1 X_3=O,X_4=D^{-1} X 3 = O , X 4 = D − 1 A A A X 1 = A − 1 , X 2 = − A − 1 B D − 1 X_1=A^{-1},X_2=-A^{-1}BD^{-1} X 1 = A − 1 , X 2 = − A − 1 B D − 1
分块对角矩阵 ：分块对角矩阵拥有良好的性质。
(1) 分块对角矩阵乘积
[ A 1 A 2 ⋱ A s ] [ B 1 B 2 ⋱ B s ] = [ A 1 B 1 A 2 B 2 ⋱ A s B s ] \begin{bmatrix}A_1 \\&A_2 \\&&\ddots \\&&&A_s \end{bmatrix}
\begin{bmatrix}B_1 \\&B_2 \\&&\ddots \\&&&B_s \end{bmatrix}
=\begin{bmatrix}A_1B_1 \\&A_2B_2 \\&&\ddots \\&&&A_sB_s \end{bmatrix}
⎣ ⎢ ⎢ ⎡ A 1 A 2 ⋱ A s ⎦ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎡ B 1 B 2 ⋱ B s ⎦ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎡ A 1 B 1 A 2 B 2 ⋱ A s B s ⎦ ⎥ ⎥ ⎤
(2) 若分块对角矩阵的各个子块可逆，则该对角分块矩阵可逆
[ A 1 A 2 ⋱ A s ] − 1 = [ A 1 − 1 A 2 − 1 ⋱ A s − 1 ] \begin{bmatrix}A_1 \\&A_2 \\&&\ddots \\&&&A_s \end{bmatrix}^{-1}=
\begin{bmatrix}A_1^{-1} \\&A_2^{-1} \\&&\ddots \\&&&A_s^{-1} \end{bmatrix}
⎣ ⎢ ⎢ ⎡ A 1 A 2 ⋱ A s ⎦ ⎥ ⎥ ⎤ − 1 = ⎣ ⎢ ⎢ ⎡ A 1 − 1 A 2 − 1 ⋱ A s − 1 ⎦ ⎥ ⎥ ⎤
(3) 分块对角矩阵的行列式为对角位置的行列式乘积
det [ A 1 A 2 ⋱ A s ] = det A 1 det A 2 ⋯ det A s \det\begin{bmatrix}A_1 \\&A_2 \\&&\ddots \\&&&A_s \end{bmatrix}
=\det A_1\det A_2\cdots\det A_s
det ⎣ ⎢ ⎢ ⎡ A 1 A 2 ⋱ A s ⎦ ⎥ ⎥ ⎤ = det A 1 det A 2 ⋯ det A s
利用克拉默法可以容易地导出一个求矩阵的逆的一般公式。设矩阵 A = ( a i j ) n × n A=(a_{ij})_{n\times n} A = ( a i j ) n × n A − 1 = ( b i j ) n × n A^{-1}=(b_{ij})_{n\times n} A − 1 = ( b i j ) n × n
A A − 1 = A [ b 1 b 2 ⋯ b n ] = I n = [ e 1 e 2 ⋯ e n ] AA^{-1}=A\begin{bmatrix}\mathbf b_1&\mathbf b_2&\cdots&\mathbf b_n\end{bmatrix}
=I_n=\begin{bmatrix}\mathbf e_1&\mathbf e_2&\cdots&\mathbf e_n\end{bmatrix}
A A − 1 = A [ b 1 b 2 ⋯ b n ] = I n = [ e 1 e 2 ⋯ e n ]
其中 b j \mathbf b_j b j A − 1 A^{-1} A − 1 j j j e j \mathbf e_j e j I n I_n I n j j j
A b j = e j A\mathbf b_j=\mathbf e_j
A b j = e j
向量 b j \mathbf b_j b j i i i A − 1 A^{-1} A − 1 b i j b_{ij} b i j
b i j = det A i ( e j ) det A b_{ij}=\frac{\det A_i(\mathbf e_j)}{\det A}
b i j = det A det A i ( e j )
回顾代数余子式的定义，它是把矩阵 A A A a i j a_{ij} a i j det A i ( e j ) \det A_i(\mathbf e_j) det A i ( e j ) i i i
det A i ( e j ) = ( − 1 ) i + j M j i = A j i \det A_i(\mathbf e_j)=(-1)^{i+j}M_{ji}=A_{ji}
det A i ( e j ) = ( − 1 ) i + j M j i = A j i
于是可写出矩阵 A A A
A − 1 = 1 det A adj A A^{-1}=\dfrac{1}{\det A}\text{adj }A
A − 1 = det A 1 adj A
其中 adj A \text{adj }A adj A A A A A j i A_{ji} A j i
adj A = [ A 11 A 21 ⋯ A n 1 A 12 A 22 ⋯ A n 2 ⋮ ⋮ ⋱ ⋮ A 1 n A 2 n ⋯ A n n ] \text{adj }A=\begin{bmatrix}
A_{11}&A_{21}&\cdots&A_{n1} \\
A_{12}&A_{22}&\cdots&A_{n2} \\
\vdots&\vdots&\ddots&\vdots \\
A_{1n}&A_{2n}&\cdots&A_{nn} \\
\end{bmatrix}
adj A = ⎣ ⎢ ⎢ ⎢ ⎡ A 1 1 A 1 2 ⋮ A 1 n A 2 1 A 2 2 ⋮ A 2 n ⋯ ⋯ ⋱ ⋯ A n 1 A n 2 ⋮ A n n ⎦ ⎥ ⎥ ⎥ ⎤
做矩阵A A A 伴随矩阵 (Adjugate Matrix) 。
注意，伴随矩阵里代数余子式的排列顺序是颠倒的。
定理 ：方阵 A A A det A ≠ 0 \det A\neq0 det A = 0 A − 1 = 1 det A adj A A^{-1}=\dfrac{1}{\det A}\text{adj }A A − 1 = det A 1 adj A
此定理仅适用于理论上的计算矩阵的逆，使我们不用实际计算出A − 1 A^{-1} A − 1
这里给出二阶方阵 A = [ a b c d ] A=\begin{bmatrix}a&b\\c&d\end{bmatrix} A = [ a c b d ] det A = a d − b c ≠ 0 \det A=ad-bc\neq0 det A = a d − b c = 0
A − 1 = 1 a d − b c [ d − b − c a ] A^{-1}=\frac{1}{ad-bc}\begin{bmatrix}d&-b\\-c&a\end{bmatrix}
A − 1 = a d − b c 1 [ d − c − b a ]
推论 ：
若 n n n A , B A,B A , B A B = I AB=I A B = I B A = I BA=I B A = I B = A − 1 B=A^{-1} B = A − 1
A ( adj A ) = ( adj A ) A = ( det A ) I A(\text{adj }A)=(\text{adj }A)A=(\det A)I A ( adj A ) = ( adj A ) A = ( det A ) I
有了推论1，只需判断 A B = I AB=I A B = I B A = I BA=I B A = I
利用初等变换计算逆矩阵 ：写出增广矩阵 ( A ∣ I ) (A\mid I) ( A ∣ I ) A A A I I I A − 1 A^{-1} A − 1
( A ∣ I ) → ( I ∣ A − 1 ) (A\mid I)\xrightarrow{}(I\mid A^{-1})
( A ∣ I ) ( I ∣ A − 1 )
同样，利用初等列变换计算逆矩阵的示意如下
[ A I ] → [ I A − 1 ] \begin{bmatrix}A\\I\end{bmatrix}\xrightarrow{}\begin{bmatrix}I\\A^{-1}\end{bmatrix}
[ A I ] [ I A − 1 ]
示例：解矩阵方程
[ 1 0 1 − 1 1 1 2 − 1 1 ] [ x 1 y 1 x 2 y 2 x 3 y 3 ] = [ 1 1 0 1 − 1 0 ] \begin{bmatrix}1&0&1\\-1&1&1\\2&-1&1\end{bmatrix}
\begin{bmatrix}x_1&y_1\\x_2&y_2\\x_3&y_3\\\end{bmatrix}=
\begin{bmatrix}1&1\\0&1\\-1&0\\\end{bmatrix}
⎣ ⎡ 1 − 1 2 0 1 − 1 1 1 1 ⎦ ⎤ ⎣ ⎡ x 1 x 2 x 3 y 1 y 2 y 3 ⎦ ⎤ = ⎣ ⎡ 1 0 − 1 1 1 0 ⎦ ⎤
解：系数矩阵可逆的矩阵方程 A X = B AX=B A X = B X = A − 1 B X=A^{-1}B X = A − 1 B P = A − 1 P=A^{-1} P = A − 1
( A ∣ B ) → ( I ∣ X ) (A\mid B)\xrightarrow{}(I\mid X)
( A ∣ B ) ( I ∣ X )
本例计算过程如下
[ 1 0 1 1 1 − 1 1 1 0 1 2 − 1 1 − 1 0 ] → [ 1 0 0 3 1 0 1 0 5 2 0 0 1 − 2 0 ] \begin{bmatrix}
\begin{array}{ccc:cc}
1&0&1&1&1\\
-1&1&1&0&1\\
2&-1&1&-1&0
\end{array}
\end{bmatrix}\to
\begin{bmatrix}
\begin{array}{ccc:cc}
1&0&0&3&1\\
0&1&0&5&2\\
0&0&1&-2&0
\end{array}
\end{bmatrix}
⎣ ⎡ 1 − 1 2 0 1 − 1 1 1 1 1 0 − 1 1 1 0 ⎦ ⎤ → ⎣ ⎡ 1 0 0 0 1 0 0 0 1 3 5 − 2 1 2 0 ⎦ ⎤
故
[ x 1 y 1 x 2 y 2 x 3 y 3 ] = [ 3 1 5 2 − 2 0 ] \begin{bmatrix}x_1&y_1\\x_2&y_2\\x_3&y_3\end{bmatrix}=
\begin{bmatrix}3&1\\5&2\\-2&0\end{bmatrix}
⎣ ⎡ x 1 x 2 x 3 y 1 y 2 y 3 ⎦ ⎤ = ⎣ ⎡ 3 5 − 2 1 2 0 ⎦ ⎤
行空间 ：矩阵A = ( r 1 , r 2 , ⋯ , r m ) T A=(\mathbf r_1,\mathbf r_2,\cdots,\mathbf r_m)^T A = ( r 1 , r 2 , ⋯ , r m ) T A A A
row A = span { r 1 , r 2 , ⋯ , r m } \text{row }A=\text{span}\{\mathbf r_1,\mathbf r_2,\cdots,\mathbf r_m\}
row A = span { r 1 , r 2 , ⋯ , r m }
若两个矩阵 A A A B B B B B B B B B row B \text{row }B row B row A \text{row }A row A
证明：若 B B B A A A B B B A A A B B B A A A B B B A A A A A A B B B B B B B B B B B B A A A
例：分别求矩阵 A A A
A = [ − 2 − 5 8 0 − 17 1 3 − 5 1 5 3 11 − 19 7 1 1 7 − 13 5 − 3 ] A=\begin{bmatrix}-2&-5&8&0&-17\\1&3&-5&1&5\\3&11&-19&7&1\\1&7&-13&5&-3\end{bmatrix}
A = ⎣ ⎢ ⎢ ⎡ − 2 1 3 1 − 5 3 1 1 7 8 − 5 − 1 9 − 1 3 0 1 7 5 − 1 7 5 1 − 3 ⎦ ⎥ ⎥ ⎤
解：为了求行空间和列空间的基，行化简A A A
A → [ 1 3 − 5 1 5 0 1 − 2 2 − 7 0 0 0 − 4 20 0 0 0 0 0 ] = B A\to \begin{bmatrix}1&3&-5&1&5\\0&1&-2&2&-7\\0&0&0&-4&20\\0&0&0&0&0\end{bmatrix}=B
A → ⎣ ⎢ ⎢ ⎡ 1 0 0 0 3 1 0 0 − 5 − 2 0 0 1 2 − 4 0 5 − 7 2 0 0 ⎦ ⎥ ⎥ ⎤ = B
矩阵 B B B B B B A A A
row A \text{row }A row A ( 1 , 3 , − 5 , 1 , 5 ) , ( 0 , 1 , − 2 , 2 , − 7 ) , ( 0 , 0 , 0 , − 4 , 20 ) (1,3,-5,1,5),(0,1,-2,2,-7),(0,0,0,-4,20) ( 1 , 3 , − 5 , 1 , 5 ) , ( 0 , 1 , − 2 , 2 , − 7 ) , ( 0 , 0 , 0 , − 4 , 2 0 )
对列空间，B B B A A A col A \text{col }A col A
col A \text{col }A col A ( − 2 , 1 , 3 , 1 ) T , ( − 5 , 3 , 11 , 7 ) T , ( 0 , 1 , 7 , 5 ) T (-2,1,3,1)^T,(-5,3,11,7)^T,(0,1,7,5)^T ( − 2 , 1 , 3 , 1 ) T , ( − 5 , 3 , 1 1 , 7 ) T , ( 0 , 1 , 7 , 5 ) T
对于核空间，需要进一步行变换得简化阶梯型矩阵
B → [ 1 0 1 0 1 0 1 − 2 0 3 0 0 0 1 − 5 0 0 0 0 0 ] = C B\to\begin{bmatrix}1&0&1&0&1\\0&1&-2&0&3\\0&0&0&1&-5\\0&0&0&0&0\end{bmatrix}=C
B → ⎣ ⎢ ⎢ ⎡ 1 0 0 0 0 1 0 0 1 − 2 0 0 0 0 1 0 1 3 − 5 0 ⎦ ⎥ ⎥ ⎤ = C
方程 A x = 0 A\mathbf x=0 A x = 0 C x = 0 C\mathbf x=0 C x = 0
{ x 1 + x 3 + x 5 = 0 x 2 − 2 x 3 + 3 x 5 = 0 x 4 − 5 x 5 = 0 \begin{cases}
x_1+x_3+x_5=0 \\
x_2-2x_3+3x_5=0 \\
x_4-5x_5=0
\end{cases}
⎩ ⎪ ⎨ ⎪ ⎧ x 1 + x 3 + x 5 = 0 x 2 − 2 x 3 + 3 x 5 = 0 x 4 − 5 x 5 = 0
所以
[ x 1 x 2 x 3 x 4 x 5 ] = x 3 [ − 1 2 1 0 0 ] + x 5 [ − 1 − 3 0 5 1 ] \begin{bmatrix}x_1\\x_2\\x_3\\x_4\\x_5\end{bmatrix}=
x_3\begin{bmatrix}-1\\2\\1\\0\\0\end{bmatrix}+
x_5\begin{bmatrix}-1\\-3\\0\\5\\1\end{bmatrix}
⎣ ⎢ ⎢ ⎢ ⎢ ⎡ x 1 x 2 x 3 x 4 x 5 ⎦ ⎥ ⎥ ⎥ ⎥ ⎤ = x 3 ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ − 1 2 1 0 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎤ + x 5 ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ − 1 − 3 0 5 1 ⎦ ⎥ ⎥ ⎥ ⎥ ⎤
ker A \ker A ker A ( − 1 , 2 , 1 , 0 , 0 ) T , ( − 1 , − 3 , 0 , 5 , 1 ) T (-1,2,1,0,0)^T,(-1,-3,0,5,1)^T ( − 1 , 2 , 1 , 0 , 0 ) T , ( − 1 , − 3 , 0 , 5 , 1 ) T
通过观察可见，与 col A \text{col }A col A row A \text{row }A row A ker A \ker A ker A A A A
定理 ：对于 m × n m\times n m × n A A A
dim ( row A ) = dim ( col A ) = rank A \dim(\text{row }A)=\dim(\text{col }A)=\text{rank }A dim ( row A ) = dim ( col A ) = rank A rank A + dim ( ker A ) = n \text{rank }A+\dim(\ker A)=n rank A + dim ( ker A ) = n
证明：rank A \text{rank }A rank A A A A A A A B B B B B B A A A A A A row A \text{row }A row A ker A \ker A ker A A x = 0 A\mathbf x=0 A x = 0 ker A \ker A ker A A A A
性质 ：
矩阵的秩在初等变换下保持不变
矩阵的列向量组的秩等于行向量组的秩
rank ( A + B ) ⩽ rank ( A ) + rank ( B ) \text{rank}(A+B)\leqslant \text{rank}(A)+\text{rank}(B) rank ( A + B ) ⩽ rank ( A ) + rank ( B ) rank ( k A ) = rank ( A ) \text{rank}(kA)=\text{rank}(A) rank ( k A ) = rank ( A ) rank ( A B ) ⩽ min { rank ( A ) , rank ( B ) } \text{rank}(AB)\leqslant \min\{\text{rank}(A),\text{rank}(B)\} rank ( A B ) ⩽ min { rank ( A ) , rank ( B ) }
对于非其次线性方程组 A x = b A\mathbf x=\mathbf b A x = b A A A x = A − 1 b \mathbf x=A^{-1}\mathbf b x = A − 1 b A A A m × n m\times n m × n G G G x = G b \mathbf x=G\mathbf b x = G b
若 A G A = A AGA=A A G A = A A x = A G A x = A ( G b ) = b A\mathbf x=AGA\mathbf x=A(G\mathbf b)=\mathbf b A x = A G A x = A ( G b ) = b G b G\mathbf b G b
若 G A G = G GAG=G G A G = G G A x = G b GA\mathbf x=G\mathbf b G A x = G b G A x = G A G A x = G A ( G b ) = G b GA\mathbf x=GAGA\mathbf x=GA(G\mathbf b)=G\mathbf b G A x = G A G A x = G A ( G b ) = G b G b G\mathbf b G b
对于m × n m\times n m × n A A A n × m n\times m n × m G G G A G A = A AGA=A A G A = A G A G = G GAG=G G A G = G ( A G ) T = A G (AG)^T=AG ( A G ) T = A G ( G A ) T = G A (GA)^T=GA ( G A ) T = G A
的全部或一部分，则称 G G G A A A 广义逆矩阵 。若 G G G G G G A A A A + A^+ A +
性质 ：
( A + ) + = A (A^+)^+=A ( A + ) + = A ( A T ) + = ( A + ) T (A^T)^+=(A^+)^T ( A T ) + = ( A + ) T rank A + = rank A \text{rank }A^+=\text{rank }A rank A + = rank A
若非其次线性方程组 A x = b A\mathbf x=\mathbf b A x = b
x = A + b + ( I − A + A ) c \mathbf x=A^+\mathbf b+(I-A^+A)\mathbf c
x = A + b + ( I − A + A ) c
其中 c \mathbf c c x \mathbf x x A A A x = A − 1 b + ( I − A − 1 A ) c = A − 1 b \mathbf x=A^{-1}\mathbf b+(I-A^{-1}A)\mathbf c=A^{-1}\mathbf b x = A − 1 b + ( I − A − 1 A ) c = A − 1 b
求伪逆矩阵的一个方法是利用奇异值分解 A = U Σ V T A=U\Sigma V^T A = U Σ V T Λ r \Lambda_r Λ r Λ r \Lambda_r Λ r
A + = V r Λ r − 1 U r T A^+=V_r\Lambda_r^{-1} U^T_r
A + = V r Λ r − 1 U r T
Grant: 普适的代价是抽象 。
仔细分析就会发现，关于向量空间的一切概念及有关定理都不依赖于向量的具体表现形式(有序数组)，也不依赖于向量加法、数乘的具体计算式，而只依赖于如下两点：
向量的加法与数乘运算封闭；
加法、数乘满足八条运算法则。
这一事实告诉我们：可以把向量的有序数组这一具体表达形式及加法、数乘的具体计算式这些非本质的东西拋弃 ，只把最根本的八条运算法则保留下来。这时它们就不能从理论上给予证明，而要当作公理加以承认。这样，我们就形成了本章的核心概念，也是线性代数这门学科的基本研究对象：数域上的抽象线性空间。
接下来，把向量空间的概念从理论上加以概括和抽象，就得到线性空间的一般性概念，它具有更大的普遍性，应用范围也更广。
线性空间 ：设 V V V F \mathbb F F V V V v + w ( v , w ∈ V ) \mathbf v+\mathbf w\quad (\mathbf v,\mathbf w\in V) v + w ( v , w ∈ V ) c v ( c ∈ F , v ∈ V ) c\mathbf v\quad(c\in\mathbb F,\mathbf v\in V) c v ( c ∈ F , v ∈ V ) V V V
∀ v , w ∈ V , v + w ∈ V \forall\mathbf v,\mathbf w\in V,\ \mathbf v+\mathbf w\in V ∀ v , w ∈ V , v + w ∈ V ∀ c ∈ F , v ∈ V , c v ∈ V \forall c\in\mathbb F,\mathbf v\in V,\ c\mathbf v\in V ∀ c ∈ F , v ∈ V , c v ∈ V
且 ∀ u , v , w ∈ V \forall\mathbf u,\mathbf v,\mathbf w\in V ∀ u , v , w ∈ V ∀ a , b ∈ F \forall a,b\in\mathbb F ∀ a , b ∈ F
加法交换律：v + w = w + v \mathbf v+\mathbf w=\mathbf w+\mathbf v v + w = w + v
加法结合律：u + ( v + w ) = ( u + v ) + w \mathbf u+(\mathbf v+\mathbf w)=(\mathbf u+\mathbf v)+\mathbf w u + ( v + w ) = ( u + v ) + w
加法单位元：∃ 0 ∈ V , 0 + v = v \exists 0\in V,\ 0+\mathbf v=\mathbf v ∃ 0 ∈ V , 0 + v = v
加法逆元：∃ ( − v ) ∈ V , v + ( − v ) = 0 \exists (-\mathbf v)\in V,\ \mathbf v+(-\mathbf v)=0 ∃ ( − v ) ∈ V , v + ( − v ) = 0
数乘结合律：a ( b v ) = ( a b ) v a(b\mathbf v)=(ab)\mathbf v a ( b v ) = ( a b ) v
数乘分配律：a ( v + w ) = a v + a w a(\mathbf v+\mathbf w)=a\mathbf v+a\mathbf w a ( v + w ) = a v + a w
数乘分配律：( a + b ) v = a v + b v (a+b)\mathbf v=a\mathbf v+b\mathbf v ( a + b ) v = a v + b v
数乘单位元：∃ 1 ∈ F , 1 v = v \exists 1\in\mathbb F,\ 1\mathbf v=\mathbf v ∃ 1 ∈ F , 1 v = v
则称集合 V V V F \mathbb F F 线性空间 (或向量空间 )。线性空间中的元素统称为向量，线性空间中的加法和数乘运算称为线性运算。
注意 ：
线性空间的概念是集合与运算二者的结合。同一个集合，若定义两种不同的线性运算，就构成不同的线性空间。
线性空间中的向量不一定是有序数组。它已不再具有三维几何空间中向量的几何直观意义。
线性运算不一定是有序数组的加法及数乘运算。
然后，之前向量空间的一切结论和性质都可同步到线性空间。
例 1：实数域上次数不大于 n n n R [ x ] n \R[x]_n R [ x ] n m × n m×n m × n R m × n \R^{m\times n} R m × n
性质 ：
零元素是唯一的；
任一元素的负元素是唯一的；
如果 c v = 0 c\mathbf v=0 c v = 0 v = 0 \mathbf v=0 v = 0 c = 0 c=0 c = 0
子空间 ：设 U U U V V V U U U U U U V V V 子空间 。
子空间的和 ：设 U 1 , U 2 U_1,U_2 U 1 , U 2 V V V
U 1 + U 2 = { u 1 + u 2 ∣ u 1 ∈ U 1 , u 2 ∈ U 2 } U_1+U_2=\{\mathbf u_1+\mathbf u_2\mid \mathbf u_1\in U_1,\mathbf u_2\in U_2\}
U 1 + U 2 = { u 1 + u 2 ∣ u 1 ∈ U 1 , u 2 ∈ U 2 }
称为子空间 U 1 , U 2 U_1,U_2 U 1 , U 2 和 (sum of subspaces) 。两个子空间的和是分别由两个子空间中各任取一个向量相加所组成的集合。注意 U 1 + U 2 U_1+U_2 U 1 + U 2 U 1 ∪ U 2 U_1\cup U_2 U 1 ∪ U 2 U 1 ∪ U 2 ≠ U 1 + U 2 U_1\cup U_2\neq U_1+U_2 U 1 ∪ U 2 = U 1 + U 2
U 1 + U 2 U_1+U_2 U 1 + U 2 U 1 , U 2 U_1,U_2 U 1 , U 2
设 U 1 = span { a 1 , ⋯ , a p } , U 2 = span { b 1 , ⋯ , b q } U_1=\text{span}\{\mathbf a_1,\cdots,\mathbf a_p\},\quad U_2=\text{span}\{\mathbf b_1,\cdots,\mathbf b_q\} U 1 = span { a 1 , ⋯ , a p } , U 2 = span { b 1 , ⋯ , b q }
U 1 + U 2 = span { a 1 , ⋯ , a p , b 1 , ⋯ , b q } U_1+U_2=\text{span}\{\mathbf a_1,\cdots,\mathbf a_p,\mathbf b_1,\cdots,\mathbf b_q\}
U 1 + U 2 = span { a 1 , ⋯ , a p , b 1 , ⋯ , b q }
维数公式 ：
dim ( U 1 + U 2 ) = dim U 1 + dim U 2 − dim ( U 1 ∩ U 2 ) \dim(U_1+U_2)=\dim U_1+\dim U_2-\dim(U_1\cap U_2)
dim ( U 1 + U 2 ) = dim U 1 + dim U 2 − dim ( U 1 ∩ U 2 )
直和 ：若任意向量 u ∈ U 1 + U 2 \mathbf u\in U_1+U_2 u ∈ U 1 + U 2
u = u 1 + u 1 ( u 1 ∈ U 1 , u 2 ∈ U 2 ) \mathbf u=\mathbf u_1+\mathbf u_1\quad (\mathbf u_1\in U_1,\mathbf u_2\in U_2)
u = u 1 + u 1 ( u 1 ∈ U 1 , u 2 ∈ U 2 )
则称子空间 U 1 + U 2 U_1+U_2 U 1 + U 2 直和 (direct sum)，记作 U 1 ⊕ U 2 U_1\oplus U_2 U 1 ⊕ U 2
U 1 + U 2 U_1+U_2 U 1 + U 2 ⟺ \iff ⟺ U 1 ∩ U 2 = { O } U_1\cap U_2=\{O\} U 1 ∩ U 2 = { O }
类似之前向量空间讨论过的，确定线性空间 V V V v ∈ V \mathbf v\in V v ∈ V
v = x 1 a 1 + x 2 a 2 + ⋯ + x n a n \mathbf v=x_1\mathbf a_1+x_2\mathbf a_2+\cdots+x_n\mathbf a_n
v = x 1 a 1 + x 2 a 2 + ⋯ + x n a n
向量的坐标为
[ x 1 x 2 ⋮ x n ] or ( x 1 , x 2 , ⋯ , x n ) \begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}\quad \text{or}\quad
(x_1,x_2,\cdots,x_n)
⎣ ⎢ ⎢ ⎢ ⎡ x 1 x 2 ⋮ x n ⎦ ⎥ ⎥ ⎥ ⎤ or ( x 1 , x 2 , ⋯ , x n )
建立了坐标之后，n n n V n V_n V n n n n R n \R^n R n
设 v ↔ ( v 1 , v 2 , ⋯ , v n ) T , w ↔ ( w 1 , w 2 , ⋯ , w n ) T \mathbf v\lrarr (v_1,v_2,\cdots,v_n)^T,\quad \mathbf w\lrarr (w_1,w_2,\cdots,w_n)^T v ↔ ( v 1 , v 2 , ⋯ , v n ) T , w ↔ ( w 1 , w 2 , ⋯ , w n ) T
v + w ↔ ( v 1 , v 2 , ⋯ , v n ) T + ( w 1 , w 2 , ⋯ , w n ) T \mathbf v+\mathbf w\lrarr (v_1,v_2,\cdots,v_n)^T+(w_1,w_2,\cdots,w_n)^T v + w ↔ ( v 1 , v 2 , ⋯ , v n ) T + ( w 1 , w 2 , ⋯ , w n ) T c v ↔ c ( v 1 , v 2 , ⋯ , v n ) T c\mathbf v \lrarr c(v_1,v_2,\cdots,v_n)^T c v ↔ c ( v 1 , v 2 , ⋯ , v n ) T
因此可以说 V n V_n V n R n \R^n R n
一般地，设 V V V U U U V V V U U U 同构 (isomorphism)。
显然，任何实数域上的n n n R n \R^n R n 线性空间的结构完全被它的维数所决定 。
同构的概念除元素一一对应外，主要是保持线性运算的对应关系。因此， V n V_n V n R n \R^n R n R n \R^n R n V n V_n V n
变换 (transformation)是线性空间的一种映射
T : v ↦ T ( v ) T:\quad \mathbf v\mapsto T(\mathbf v)
T : v ↦ T ( v )
称 T ( v ) T(\mathbf v) T ( v ) v \mathbf v v T T T 像 ，而称 v \mathbf v v T ( v ) T(\mathbf v) T ( v ) T T T 原像 。
满足下列两条性质的变换称为线性变换 (linear transformation)
可加性(additivity)：T ( v + w ) = T ( v ) + T ( w ) T(\mathbf v+\mathbf w)=T(\mathbf v)+T(\mathbf w) T ( v + w ) = T ( v ) + T ( w )
伸缩性(scaling)：T ( c v ) = c T ( v ) T(c\mathbf v)=cT(\mathbf v) T ( c v ) = c T ( v )
设V V V R \R R n n n e 1 , e 2 , ⋯ , e n \mathbf e_1,\mathbf e_2,\cdots,\mathbf e_n e 1 , e 2 , ⋯ , e n V V V e j \mathbf e_j e j I j I_j I j j j j v ∈ V \mathbf v\in V v ∈ V
v = [ x 1 x 2 ⋮ x n ] = x 1 e 1 + x 2 e 2 + ⋯ + x n e n \mathbf v=\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=x_1\mathbf e_1+x_2\mathbf e_2+\cdots+x_n\mathbf e_n
v = ⎣ ⎢ ⎢ ⎢ ⎡ x 1 x 2 ⋮ x n ⎦ ⎥ ⎥ ⎥ ⎤ = x 1 e 1 + x 2 e 2 + ⋯ + x n e n
对于线性变换 T T T
T ( v ) = T ( x 1 e 1 + x 2 e 2 + ⋯ + x n e n ) = x 1 T ( e 1 ) + x 2 T ( e 2 ) + ⋯ + x n T ( e n ) = [ T ( e 1 ) T ( e 2 ) ⋯ T ( e n ) ] [ x 1 x 2 ⋮ x n ] = A v \begin{aligned}
T(\mathbf v)&=T(x_1\mathbf e_1+x_2\mathbf e_2+\cdots+x_n\mathbf e_n)
=x_1T(\mathbf e_1)+x_2T(\mathbf e_2)+\cdots+x_nT(\mathbf e_n) \\
&=\begin{bmatrix}T(\mathbf e_1)&T(\mathbf e_2)&\cdots&T(\mathbf e_n)\end{bmatrix}\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}
=A\mathbf v
\end{aligned}
T ( v ) = T ( x 1 e 1 + x 2 e 2 + ⋯ + x n e n ) = x 1 T ( e 1 ) + x 2 T ( e 2 ) + ⋯ + x n T ( e n ) = [ T ( e 1 ) T ( e 2 ) ⋯ T ( e n ) ] ⎣ ⎢ ⎢ ⎢ ⎡ x 1 x 2 ⋮ x n ⎦ ⎥ ⎥ ⎥ ⎤ = A v
矩阵 A A A T T T e 1 , e 2 , ⋯ , e n \mathbf e_1,\mathbf e_2,\cdots,\mathbf e_n e 1 , e 2 , ⋯ , e n A A A j j j e j \mathbf e_j e j T ( e j ) T(\mathbf e_j) T ( e j ) 显然，矩阵 A A A 。
示例：函数是一种特殊的线性空间，定义一个映射：
D = d d x : f ( x ) ↦ f ′ ( x ) D=\frac{\mathrm d}{\mathrm dx}:\quad f(x)\mapsto f'(x)
D = d x d : f ( x ) ↦ f ′ ( x )
由导数的性质可知，D D D 微分变换 。
在多项式空间 R [ x ] n \R[x]_n R [ x ] n
f ( x ) = a 0 + a 1 x 1 + a 2 x 2 + ⋯ + a n x n f(x)=a_0+a_1x_1+a_2x^2+\cdots+a_nx^n
f ( x ) = a 0 + a 1 x 1 + a 2 x 2 + ⋯ + a n x n
在基 1 , x , x 2 , ⋯ , x n 1,x,x^2,\cdots,x^n 1 , x , x 2 , ⋯ , x n
f ( x ) = ( 1 , x , x 2 , ⋯ , x n ) [ a 0 a 1 a 2 ⋮ a n ] f(x)=(1,x,x^2,\cdots,x^n)\begin{bmatrix}a_0\\a_1\\a_2\\\vdots\\a_n\end{bmatrix}
f ( x ) = ( 1 , x , x 2 , ⋯ , x n ) ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ a 0 a 1 a 2 ⋮ a n ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤
基向量 1 , x , x 2 , ⋯ , x n 1,x,x^2,\cdots,x^n 1 , x , x 2 , ⋯ , x n
D 1 = 0 , D x = 1 , D x 2 = 2 x , ⋯ D x n = n x n − 1 \begin{aligned}&D1=0,\\&D x=1,\\&Dx^2=2x,\\&\cdots\\&Dx^n=nx^{n-1}\end{aligned}
D 1 = 0 , D x = 1 , D x 2 = 2 x , ⋯ D x n = n x n − 1
故 D D D 1 , x , x 2 , ⋯ , x n 1,x,x^2,\cdots,x^n 1 , x , x 2 , ⋯ , x n
D = [ 0 1 0 ⋯ 0 0 0 2 ⋯ 0 ⋮ ⋮ ⋮ ⋱ ⋮ 0 0 0 ⋯ n 0 0 0 ⋯ 0 ] D=\begin{bmatrix}
0&1&0&\cdots&0\\
0&0&2&\cdots&0\\
\vdots&\vdots&\vdots&\ddots&\vdots\\
0&0&0&\cdots&n\\
0&0&0&\cdots&0\end{bmatrix}
D = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 0 0 ⋮ 0 0 1 0 ⋮ 0 0 0 2 ⋮ 0 0 ⋯ ⋯ ⋱ ⋯ ⋯ 0 0 ⋮ n 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤
D f ( x ) Df(x) D f ( x ) 1 , x , x 2 , ⋯ , x n 1,x,x^2,\cdots,x^n 1 , x , x 2 , ⋯ , x n
D f ( x ) = [ 0 1 0 ⋯ 0 0 0 2 ⋯ 0 ⋮ ⋮ ⋮ ⋱ ⋮ 0 0 0 ⋯ n 0 0 0 ⋯ 0 ] [ a 0 a 1 a 2 ⋮ a n ] = [ a 1 2 a 2 3 a 3 ⋮ 0 ] Df(x)=\begin{bmatrix}
0&1&0&\cdots&0\\
0&0&2&\cdots&0\\
\vdots&\vdots&\vdots&\ddots&\vdots\\
0&0&0&\cdots&n\\
0&0&0&\cdots&0\end{bmatrix}
\begin{bmatrix}a_0\\a_1\\a_2\\\vdots\\a_n\end{bmatrix}=
\begin{bmatrix}a_1\\2a_2\\3a_3\\\vdots\\0\end{bmatrix}
D f ( x ) = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 0 0 ⋮ 0 0 1 0 ⋮ 0 0 0 2 ⋮ 0 0 ⋯ ⋯ ⋱ ⋯ ⋯ 0 0 ⋮ n 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ a 0 a 1 a 2 ⋮ a n ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ a 1 2 a 2 3 a 3 ⋮ 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤
即 D f ( x ) = a 1 + 2 a 2 x + 3 a 3 x 2 + ⋯ + n a n x n − 1 Df(x)=a_1+2a_2x+3a_3x^2+\cdots+na_nx^{n-1} D f ( x ) = a 1 + 2 a 2 x + 3 a 3 x 2 + ⋯ + n a n x n − 1
Grant：坐标系的建立基于所选的基向量
以二维空间为例，Grant 选用标准坐标系下的基向量，坐标值为
i = [ 1 0 ] , j = [ 0 1 ] \mathbf i=\begin{bmatrix} 1 \\ 0 \end{bmatrix},\quad
\mathbf j=\begin{bmatrix} 0 \\ 1 \end{bmatrix}
i = [ 1 0 ] , j = [ 0 1 ]
而 Jennifer 使用另外一组基向量 i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′
i ′ = [ a c ] , j ′ = [ b d ] \mathbf i'=\begin{bmatrix} a \\ c \end{bmatrix},\quad
\mathbf j'=\begin{bmatrix} b \\ d \end{bmatrix}
i ′ = [ a c ] , j ′ = [ b d ]
实际上在各自的坐标系统，基向量均为 ( 1 , 0 ) , ( 0 , 1 ) (1,0),(0,1) ( 1 , 0 ) , ( 0 , 1 ) 原点的定义 是一致的。
同一个向量在不同基向量下表示不同。在 Jennifer 的坐标系中，向量 v = [ x ′ y ′ ] \mathbf v=\begin{bmatrix} x' \\ y' \end{bmatrix} v = [ x ′ y ′ ]
v = x ′ i ′ + y ′ j ′ \mathbf v=x'\mathbf i'+y'\mathbf j'
v = x ′ i ′ + y ′ j ′
在 Grant 坐标系下的表示
v = x ′ [ a c ] + y ′ [ b d ] \mathbf v=x'\begin{bmatrix} a \\ c \end{bmatrix}+y'\begin{bmatrix} b \\ d \end{bmatrix}
v = x ′ [ a c ] + y ′ [ b d ]
进一步，因为是线性变换，所以将其转化为矩阵乘法
v = [ a b c d ] [ x ′ y ′ ] = [ x y ] \mathbf v=\begin{bmatrix} a&b \\ c&d \end{bmatrix}\begin{bmatrix} x' \\ y' \end{bmatrix}=\begin{bmatrix} x \\ y \end{bmatrix}
v = [ a c b d ] [ x ′ y ′ ] = [ x y ]
[ x y ] \begin{bmatrix} x \\ y \end{bmatrix} [ x y ] [ x ′ y ’ ] \begin{bmatrix} x' \\ y’ \end{bmatrix} [ x ′ y ’ ] [ a b c d ] \begin{bmatrix} a&b \\ c&d \end{bmatrix} [ a c b d ]
进一步，我们将用基向量 i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′ i , j \mathbf i,\mathbf j i , j
[ x ′ y ′ ] = [ a b c d ] − 1 [ x y ] \begin{bmatrix} x' \\ y' \end{bmatrix}=\begin{bmatrix} a&b \\ c&d \end{bmatrix}^{-1}\begin{bmatrix} x \\ y \end{bmatrix}
[ x ′ y ′ ] = [ a c b d ] − 1 [ x y ]
现讨论 n n n V n V_n V n n n n V n V_n V n
基变换公式 ：设矩阵 A = ( a 1 , a 2 , ⋯ , a n ) A=(\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n) A = ( a 1 , a 2 , ⋯ , a n ) B = ( b 1 , b 2 , ⋯ , b n ) B=(\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n) B = ( b 1 , b 2 , ⋯ , b n ) n n n V n V_n V n
{ b 1 = p 11 a 1 + p 21 a 2 + ⋯ + p n 1 a n b 2 = p 12 a 1 + p 22 a 2 + ⋯ + p n 2 a n ⋯ b n = p 1 n a 1 + p 2 n a 2 + ⋯ + p n n a n \begin{cases}
\mathbf b_1=p_{11}\mathbf a_1+p_{21}\mathbf a_2+\cdots+p_{n1}\mathbf a_n \\
\mathbf b_2=p_{12}\mathbf a_1+p_{22}\mathbf a_2+\cdots+p_{n2}\mathbf a_n \\
\cdots \\
\mathbf b_n=p_{1n}\mathbf a_1+p_{2n}\mathbf a_2+\cdots+p_{nn}\mathbf a_n \\
\end{cases}
⎩ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎧ b 1 = p 1 1 a 1 + p 2 1 a 2 + ⋯ + p n 1 a n b 2 = p 1 2 a 1 + p 2 2 a 2 + ⋯ + p n 2 a n ⋯ b n = p 1 n a 1 + p 2 n a 2 + ⋯ + p n n a n
利用分块矩阵的乘法形式，可将上式记为
B = A P B=AP
B = A P
称为基变换公式 。其中，矩阵
P = [ p 11 p 12 ⋯ p 1 n p 21 p 22 ⋯ p 2 n ⋮ ⋮ ⋱ ⋮ p n 1 p 2 n ⋯ p n n ] P=\begin{bmatrix}
p_{11}&p_{12}&\cdots&p_{1n} \\
p_{21}&p_{22}&\cdots&p_{2n} \\
\vdots&\vdots&\ddots&\vdots \\
p_{n1}&p_{2n}&\cdots&p_{nn} \\
\end{bmatrix}
P = ⎣ ⎢ ⎢ ⎢ ⎡ p 1 1 p 2 1 ⋮ p n 1 p 1 2 p 2 2 ⋮ p 2 n ⋯ ⋯ ⋱ ⋯ p 1 n p 2 n ⋮ p n n ⎦ ⎥ ⎥ ⎥ ⎤
称为由基 A = { a 1 , a 2 , ⋯ , a n } A=\{\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n\} A = { a 1 , a 2 , ⋯ , a n } B = { b 1 , b 2 , ⋯ , b n } B=\{\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n\} B = { b 1 , b 2 , ⋯ , b n } 过渡矩阵 (transition matrix)。显然 P − 1 P^{-1} P − 1 B = { b 1 , b 2 , ⋯ , b n } B=\{\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n\} B = { b 1 , b 2 , ⋯ , b n } A = { a 1 , a 2 , ⋯ , a n } A=\{\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n\} A = { a 1 , a 2 , ⋯ , a n }
坐标变换公式 ：设线性空间 V V V v \mathbf v v A = { a 1 , a 2 , ⋯ , a n } A=\{\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n\} A = { a 1 , a 2 , ⋯ , a n } v A \mathbf v_A v A B = { b 1 , b 2 , ⋯ , b n } B=\{\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n\} B = { b 1 , b 2 , ⋯ , b n } v B \mathbf v_B v B
v A = P v B \mathbf v_A=P\mathbf v_B
v A = P v B
其中矩阵 P P P A = { a 1 , a 2 , ⋯ , a n } A=\{\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n\} A = { a 1 , a 2 , ⋯ , a n } B = { b 1 , b 2 , ⋯ , b n } B=\{\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n\} B = { b 1 , b 2 , ⋯ , b n }
计算过渡矩阵 ：对于基变换公式 B = A P B=AP B = A P P = A − 1 B P=A^{-1}B P = A − 1 B ( A ∣ B ) ， (A\mid B) ， ( A ∣ B ) ， A A A I I I P P P
( A ∣ B ) → ( I ∣ A − 1 B ) (A\mid B)\xrightarrow{}(I\mid A^{-1}B)
( A ∣ B ) ( I ∣ A − 1 B )
例：设 b 1 = [ − 9 1 ] , b 2 = [ − 5 − 1 ] , c 1 = [ 1 − 4 ] , c 2 = [ 3 − 5 ] \mathbf b_1=\begin{bmatrix} -9 \\ 1 \end{bmatrix},\mathbf b_2=\begin{bmatrix} -5 \\ -1 \end{bmatrix},\mathbf c_1=\begin{bmatrix} 1 \\ -4 \end{bmatrix},\mathbf c_2=\begin{bmatrix} 3 \\ -5 \end{bmatrix} b 1 = [ − 9 1 ] , b 2 = [ − 5 − 1 ] , c 1 = [ 1 − 4 ] , c 2 = [ 3 − 5 ] R 2 \R^2 R 2 B = { b 1 , b 2 } , C = { c 1 , c 2 } B=\{\mathbf b_1,\mathbf b_2\},C=\{\mathbf c_1,\mathbf c_2\} B = { b 1 , b 2 } , C = { c 1 , c 2 } B B B C C C
解：设基向量 c 1 , c 2 \mathbf c_1,\mathbf c_2 c 1 , c 2 B B B
[ c 1 ] B = [ x 1 x 2 ] , [ c 2 ] B = [ y 1 y 2 ] [\mathbf c_1]_B=\begin{bmatrix} x_1 \\ x_2 \end{bmatrix},\quad
[\mathbf c_2]_B=\begin{bmatrix} y_1 \\ y_2 \end{bmatrix}
[ c 1 ] B = [ x 1 x 2 ] , [ c 2 ] B = [ y 1 y 2 ]
由坐标的定义，可知
( b 1 , b 2 ) [ x 1 x 2 ] = c 1 , ( b 1 , b 2 ) [ y 1 y 2 ] = c 2 (\mathbf b_1,\mathbf b_2)\begin{bmatrix} x_1 \\ x_2 \end{bmatrix}=\mathbf c_1,\quad
(\mathbf b_1,\mathbf b_2)\begin{bmatrix} y_1 \\ y_2 \end{bmatrix}=\mathbf c_2
( b 1 , b 2 ) [ x 1 x 2 ] = c 1 , ( b 1 , b 2 ) [ y 1 y 2 ] = c 2
为了同步解出这两个方程组，使用增广矩阵 ( B ∣ C ) (B\mid C) ( B ∣ C )
( b 1 , b 2 ∣ c 1 , c 2 ) = [ − 9 − 5 1 3 1 − 1 − 4 − 5 ] → [ 1 0 − 3 / 2 − 2 0 1 5 / 2 3 ] (\mathbf b_1,\mathbf b_2\mid \mathbf c_1,\mathbf c_2)=
\begin{bmatrix}\begin{array}{cc:cc} -9&-5&1&3 \\ 1&-1&-4&-5 \end{array}\end{bmatrix}\to
\begin{bmatrix}\begin{array}{cc:cc} 1&0&-3/2&-2 \\0&1&5/2&3 \end{array}\end{bmatrix}
( b 1 , b 2 ∣ c 1 , c 2 ) = [ − 9 1 − 5 − 1 1 − 4 3 − 5 ] → [ 1 0 0 1 − 3 / 2 5 / 2 − 2 3 ]
因此， 由B B B C C C
P = [ − 3 / 2 − 2 5 / 2 3 ] P=\begin{bmatrix} -3/2&-2 \\5/2&3 \end{bmatrix}
P = [ − 3 / 2 5 / 2 − 2 3 ]
本章特征值和特征向量的概念只在方阵的范畴内探讨。
Grant：线性变换对应的矩阵依赖于所选择的基。
一般情况下，同一个线性变换在不同基下的矩阵不同。仍然以平面线性变换为例，Grant 选用标准坐标系下的基向量 i , j \mathbf i,\mathbf j i , j T T T A A A i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′
我们已经知道矩阵 A A A i , j \mathbf i,\mathbf j i , j i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′ i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′
对于 Jennifer 视角下的向量 v = [ x ′ y ′ ] \mathbf v=\begin{bmatrix} x' \\ y' \end{bmatrix} v = [ x ′ y ′ ]
同样的向量，用 Grant 的坐标系表示的坐标为 P [ x ′ y ′ ] P\begin{bmatrix} x' \\ y' \end{bmatrix} P [ x ′ y ′ ] P P P
用 Grant 的语言描述变换后的向量 A P [ x ′ y ′ ] AP\begin{bmatrix} x' \\ y' \end{bmatrix} A P [ x ′ y ′ ]
将变换后的结果变回 Jennifer 的坐标系 P − 1 A P [ x ′ y ′ ] P^{-1}AP\begin{bmatrix} x' \\ y' \end{bmatrix} P − 1 A P [ x ′ y ′ ]
于是，我们得到同一个线性变换 T T T P − 1 A P P^{-1}AP P − 1 A P
这个结果暗示着数学上的转移作用，中间的矩阵 A A A P P P P − 1 P^{-1} P − 1 P − 1 A P P^{-1}AP P − 1 A P
下面给出严格的数学证明。在线性空间 V V V ( b 1 , b 2 , ⋯ , b n ) = ( a 1 , a 2 , ⋯ , a n ) P (\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n)=(\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n)P ( b 1 , b 2 , ⋯ , b n ) = ( a 1 , a 2 , ⋯ , a n ) P
设线性变换 T T T A A A B B B
T ( a 1 , a 2 , ⋯ , a n ) = ( a 1 , a 2 , ⋯ , a n ) A T ( b 1 , b 2 , ⋯ , b n ) = ( b 1 , b 2 , ⋯ , b n ) B T(\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n)=(\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n)A \\
T(\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n)=(\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n)B
T ( a 1 , a 2 , ⋯ , a n ) = ( a 1 , a 2 , ⋯ , a n ) A T ( b 1 , b 2 , ⋯ , b n ) = ( b 1 , b 2 , ⋯ , b n ) B
取向量 v ∈ V \mathbf v\in V v ∈ V x , x ′ \mathbf x,\mathbf x' x , x ′ x = P x ′ \mathbf x=P\mathbf x' x = P x ′
T ( v ) = ( b 1 , b 2 , ⋯ , b n ) B x ′ = ( a 1 , a 2 , ⋯ , a n ) A x = ( b 1 , b 2 , ⋯ , b n ) P − 1 A P x ′ \begin{aligned}
T(\mathbf v)&=(\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n)B\mathbf x'\\
&=(\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n)A\mathbf x \\
&=(\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n)P^{-1}AP\mathbf x'
\end{aligned}
T ( v ) = ( b 1 , b 2 , ⋯ , b n ) B x ′ = ( a 1 , a 2 , ⋯ , a n ) A x = ( b 1 , b 2 , ⋯ , b n ) P − 1 A P x ′
因为 b 1 , b 2 , ⋯ , b n \mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n b 1 , b 2 , ⋯ , b n
B = P − 1 A P B=P^{-1}AP
B = P − 1 A P
因此， B B B P − 1 A P P^{-1}AP P − 1 A P
相似矩阵 ：设 A , B A,B A , B n n n n n n P P P
B = P − 1 A P B=P^{-1}AP
B = P − 1 A P
则称矩阵 A A A B B B 相似 (similar)，记作 A ∼ B A\sim B A ∼ B
用初等行变换计算相似矩阵 ：计算相似矩阵 P − 1 A P P^{-1}AP P − 1 A P A P AP A P ( P ∣ A P ) (P\mid AP) ( P ∣ A P ) ( I ∣ P − 1 A P ) (I\mid P^{-1}AP) ( I ∣ P − 1 A P ) P − 1 P^{-1} P − 1
Grant：行列式告诉你一个变换对面积的缩放比例，特征向量则是在变换中保留在他所张成的空间中的向量，这两者都是暗含于空间中的性质，坐标系的选择并不会改变他们最根本的值。
我们已经知道，对角阵对于矩阵运算来说最为简单。若线性变换 T T T A A A Λ \Lambda Λ A A A
假设有对角阵 Λ ∼ A \Lambda\sim A Λ ∼ A P P P
P − 1 A P = Λ = diag ( λ 1 , λ 2 , ⋯ , λ n ) P^{-1}AP=\Lambda=\text{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n)
P − 1 A P = Λ = diag ( λ 1 , λ 2 , ⋯ , λ n )
将矩阵 P P P P = ( x 1 , x 2 , ⋯ , x n ) P=(\mathbf x_1,\mathbf x_2,\cdots,\mathbf x_n) P = ( x 1 , x 2 , ⋯ , x n )
A ( x 1 , x 2 , ⋯ , x n ) = ( x 1 , x 2 , ⋯ , x n ) Λ A(\mathbf x_1,\mathbf x_2,\cdots,\mathbf x_n)=(\mathbf x_1,\mathbf x_2,\cdots,\mathbf x_n)\Lambda
A ( x 1 , x 2 , ⋯ , x n ) = ( x 1 , x 2 , ⋯ , x n ) Λ
按分块矩阵的乘法，上式可写成
A x 1 = λ 1 x 1 A x 2 = λ 1 x 2 ⋯ A x n = λ n x n A\mathbf x_1=\lambda_1\mathbf x_1\\
A\mathbf x_2=\lambda_1\mathbf x_2\\
\cdots\\
A\mathbf x_n=\lambda_n\mathbf x_n
A x 1 = λ 1 x 1 A x 2 = λ 1 x 2 ⋯ A x n = λ n x n
根据假定 P P P λ j , x j \lambda_j,\mathbf x_j λ j , x j
定义 ：对于矩阵 A A A λ \lambda λ u \mathbf u u
A u = λ u A\mathbf u=\lambda\mathbf u
A u = λ u
则称λ \lambda λ A A A 特征值 （eigenvalue），u \mathbf u u λ \lambda λ 特征向量 （eigenvector）。
(1) 特征向量必须是非零向量；
事实上，对于任意非零常数c c c c u c\mathbf u c u λ \lambda λ
if A u = λ u , then A ( c u ) = λ ( c u ) \text{if }A\mathbf u=\lambda\mathbf u,\text{ then }A(c\mathbf u)=\lambda (c\mathbf u)
if A u = λ u , then A ( c u ) = λ ( c u )
由于矩阵和线性变换是一一对应的，我们可以借助几何直观理解这个定义。
特征向量在变换过程中只受到拉伸或者压缩
特征值描述对应特征向量经过线性变换后的缩放程度
对于三维空间中的旋转，如果能够找到对应的特征向量，也即能够留在它所张成的空间中的向量，那么就意味着我们找到了旋转轴。特别地，这就意味着将一个三维旋转看成绕这个特征向量旋转一定角度，要比考虑相应的矩阵变换要直观。此时对应的特征值为1，因为旋转并不改变任何一个向量，所以向量的长度保持不变。
由定义知道，求解特征向量就是寻找非零向量 u \mathbf u u
( A − λ I ) u = 0 (A-\lambda I)\mathbf u=0
( A − λ I ) u = 0
显然，u = 0 \mathbf u=0 u = 0
det ( A − λ I ) = 0 \det(A-\lambda I)=0
det ( A − λ I ) = 0
也就是系数矩阵所代表的线性变换将空间压缩到更低的维度。上式称为矩阵 A A A 特征方程 (characteristic equation)。矩阵 A A A
多项式
f ( λ ) = det ( A − λ I ) f(\lambda)=\det(A-\lambda I)
f ( λ ) = det ( A − λ I )
称为矩阵 A A A 特征多项式 (characteristic polynomial)。
由上面的讨论可以得出求n n n A A A 简要步骤 ：
求出 A A A n n n det ( A − λ I ) \det(A-\lambda I) det ( A − λ I )
求解特征方程 det ( A − λ I ) = 0 \det(A-\lambda I)=0 det ( A − λ I ) = 0 n n n A A A n n n
对求得的每个特征值 λ i \lambda_i λ i ( A − λ I ) x = 0 (A-\lambda I)\mathbf x=0 ( A − λ I ) x = 0
示例：求矩阵 A = [ 1 2 3 2 ] A=\begin{bmatrix}1&2\\3&2\end{bmatrix} A = [ 1 3 2 2 ]
解： A A A
det ( A − λ I ) = ∣ 1 − λ 2 3 2 − λ ∣ = λ 2 − 3 λ − 4 = ( λ − 4 ) ( λ + 1 ) \begin{aligned}\det(A-\lambda I)&=\begin{vmatrix}1-\lambda&2\\3&2-\lambda\end{vmatrix} \\
&=\lambda^2-3\lambda-4=(\lambda-4)(\lambda+1)
\end{aligned}
det ( A − λ I ) = ∣ ∣ ∣ ∣ 1 − λ 3 2 2 − λ ∣ ∣ ∣ ∣ = λ 2 − 3 λ − 4 = ( λ − 4 ) ( λ + 1 )
因此 A A A λ 1 = 4 , λ 2 = − 1 \lambda_1=4,\lambda_2=-1 λ 1 = 4 , λ 2 = − 1
将 λ 1 = 4 \lambda_1=4 λ 1 = 4 ( A − λ I ) x = 0 (A-\lambda I)\mathbf x=0 ( A − λ I ) x = 0
[ − 3 2 3 − 2 ] [ x 1 x 2 ] = 0 [ − 3 2 3 − 2 ] → [ 3 − 2 0 0 ] \begin{bmatrix}-3&2\\3&-2\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=0 \\
\begin{bmatrix}-3&2\\3&-2\end{bmatrix}\to\begin{bmatrix}3&-2\\0&0\end{bmatrix}
[ − 3 3 2 − 2 ] [ x 1 x 2 ] = 0 [ − 3 3 2 − 2 ] → [ 3 0 − 2 0 ]
求得特征值 λ 1 = 4 \lambda_1=4 λ 1 = 4 u 1 = c [ 2 3 ] \mathbf u_1=c\begin{bmatrix}2\\3\end{bmatrix} u 1 = c [ 2 3 ]
将 λ 1 = − 1 \lambda_1=-1 λ 1 = − 1 ( A − λ I ) x = 0 (A-\lambda I)\mathbf x=0 ( A − λ I ) x = 0
[ 2 2 3 3 ] [ x 1 x 2 ] = 0 [ 2 2 3 3 ] → [ 1 1 0 0 ] \begin{bmatrix}2&2\\3&3\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=0 \\
\begin{bmatrix}2&2\\3&3\end{bmatrix}\to\begin{bmatrix}1&1\\0&0\end{bmatrix}
[ 2 3 2 3 ] [ x 1 x 2 ] = 0 [ 2 3 2 3 ] → [ 1 0 1 0 ]
求得特征值 λ 2 = − 1 \lambda_2=-1 λ 2 = − 1 u 2 = c [ − 1 1 ] \mathbf u_2=c\begin{bmatrix}-1\\1\end{bmatrix} u 2 = c [ − 1 1 ]
性质 ：
相似矩阵(同样的线性变换)有相同的特征多项式，从而有相同的特征值；
矩阵 A A A A T A^T A T
属于矩阵不同特征值的特征向量线性无关；
矩阵的所有特征值之和等于其主对角线元素之和(矩阵的迹)；
矩阵的所有特征值之积等于矩阵的行列式；
三角阵的特征值是其主对角线元素；
矩阵乘积 A B AB A B B A BA B A
证明：(性质1)设 A ∼ B A\sim B A ∼ B B = P − 1 A P B=P^{-1}AP B = P − 1 A P
det ( B − λ I ) = det ( P − 1 ( A − λ I ) P ) = det ( P − 1 ) det ( A − λ I ) det ( P ) = det ( A − λ I ) \begin{aligned}
\det(B-\lambda I)&=\det(P^{-1}(A-\lambda I)P) \\
&=\det(P^{-1})\det(A-\lambda I)\det(P) \\
&=\det(A-\lambda I) \\
\end{aligned}
det ( B − λ I ) = det ( P − 1 ( A − λ I ) P ) = det ( P − 1 ) det ( A − λ I ) det ( P ) = det ( A − λ I )
故 A A A B B B
(性质4)设n n n A A A λ 1 , λ 2 , ⋯ , λ n \lambda_1,\lambda_2,\cdots,\lambda_n λ 1 , λ 2 , ⋯ , λ n
f ( λ ) = det ( A − λ I ) = ( λ 1 − λ ) ( λ 2 − λ ) ⋯ ( λ n − λ ) f(\lambda)=\det(A-\lambda I)=(\lambda_1-\lambda)(\lambda_2-\lambda)\cdots(\lambda_n-\lambda)
f ( λ ) = det ( A − λ I ) = ( λ 1 − λ ) ( λ 2 − λ ) ⋯ ( λ n − λ )
上式取 λ = 0 \lambda=0 λ = 0 f ( 0 ) = det A = λ 1 λ 2 ⋯ λ n f(0)=\det A=\lambda_1\lambda_2\cdots\lambda_n f ( 0 ) = det A = λ 1 λ 2 ⋯ λ n
(性质7)假设矩阵 A A A B B B m × n m\times n m × n n × m n\times m n × m
证法1：设 λ \lambda λ A B AB A B u \mathbf u u ( A B ) u = λ u (AB)\mathbf u=\lambda\mathbf u ( A B ) u = λ u B B B
( B A ) ( B u ) = λ ( B u ) (BA)(B\mathbf u)=\lambda(B\mathbf u)
( B A ) ( B u ) = λ ( B u )
又由于 A B u = λ u ≠ 0 AB\mathbf u=\lambda\mathbf u\neq0 A B u = λ u = 0 B u ≠ 0 B\mathbf u\neq 0 B u = 0 B u B\mathbf u B u B A BA B A λ \lambda λ λ \lambda λ B A BA B A
同理可证 B A BA B A A B AB A B A B AB A B B A BA B A
证法2：易知
[ I m − A O I n ] [ A B O B O ] [ I m A O I n ] = [ O O B A B ] \begin{bmatrix}I_m&-A\\O&I_n\end{bmatrix}
\begin{bmatrix}AB&O\\B&O\end{bmatrix}
\begin{bmatrix}I_m&A\\O&I_n\end{bmatrix}=
\begin{bmatrix}O&O\\B&AB\end{bmatrix}
[ I m O − A I n ] [ A B B O O ] [ I m O A I n ] = [ O B O A B ]
又由于
[ I m − A O I n ] [ I m A O I n ] = I m + n \begin{bmatrix}I_m&-A\\O&I_n\end{bmatrix}
\begin{bmatrix}I_m&A\\O&I_n\end{bmatrix}=
I_{m+n}
[ I m O − A I n ] [ I m O A I n ] = I m + n
可知
[ A B O B O ] ∼ [ O O B B A ] \begin{bmatrix}AB&O\\B&O\end{bmatrix}\sim
\begin{bmatrix}O&O\\B&BA\end{bmatrix}
[ A B B O O ] ∼ [ O B O B A ]
它们有相同的特征多项式，即
λ n det ( λ I m − A B ) = λ m det ( λ I n − B A ) \lambda^n\det(\lambda I_m-AB)=\lambda^m\det(\lambda I_n-BA)
λ n det ( λ I m − A B ) = λ m det ( λ I n − B A )
上式称为Sylvester降幂公式 。这里表明，A B AB A B B A BA B A m − n m-n m − n
由上节知道，特征值和特征向量定义的初衷是为了线性变换的相似对角化，即
P − 1 A P = Λ P^{-1}AP=\Lambda
P − 1 A P = Λ
由定义的推理知道，矩阵 A A A P P P P P P A A A Λ \Lambda Λ P P P Λ \Lambda Λ A A A
定理 ：矩阵 A n A_n A n A n A_n A n n n n
设矩阵A A A A u 1 = λ 1 u 1 , A u 2 = λ 2 u 2 A\mathbf u_1=\lambda_1\mathbf u_1,\quad A\mathbf u_2=\lambda_2\mathbf u_2 A u 1 = λ 1 u 1 , A u 2 = λ 2 u 2 P = [ u 1 , u 2 ] P=[\mathbf u_1,\mathbf u_2] P = [ u 1 , u 2 ]
A P = [ λ 1 u 1 , λ 2 u 2 ] = [ u 1 , u 2 ] [ λ 1 0 0 λ 2 ] = P Λ AP=[\lambda_1\mathbf u_1,\lambda_2\mathbf u_2]=
[\mathbf u_1,\mathbf u_2]
\begin{bmatrix} \lambda_1&0 \\ 0&\lambda_2 \end{bmatrix}=
P\Lambda \\
A P = [ λ 1 u 1 , λ 2 u 2 ] = [ u 1 , u 2 ] [ λ 1 0 0 λ 2 ] = P Λ
若 P P P u 1 , u 2 \mathbf u_1,\mathbf u_2 u 1 , u 2
Λ = P − 1 A P = [ λ 1 0 0 λ 2 ] \Lambda=P^{-1}AP=\begin{bmatrix} \lambda_1&0 \\ 0&\lambda_2 \end{bmatrix}
Λ = P − 1 A P = [ λ 1 0 0 λ 2 ]
当特征向量的数量足够多时，这些特征向量就可以构成特征基 (eigenbasis)。在特征基坐标系角度看，同一个线性变换只是伸缩变换(对角阵)。
特征基的坐标使用的是矩阵 A A A
例：尝试将下列矩阵对角化
A = [ 1 3 3 − 3 − 5 − 3 3 3 1 ] A=\begin{bmatrix} 1&3&3 \\ -3&-5&-3 \\ 3&3&1 \end{bmatrix}
A = ⎣ ⎡ 1 − 3 3 3 − 5 3 3 − 3 1 ⎦ ⎤
解：对角化工作可分为4步来完成
step 1：求出特征值。矩阵 A A A
det ( A − λ I ) = − ( λ − 1 ) ( λ + 2 ) 2 \det(A-\lambda I)=-(\lambda-1)(\lambda+2)^2
det ( A − λ I ) = − ( λ − 1 ) ( λ + 2 ) 2
特征值是 λ = 1 \lambda=1 λ = 1 λ = − 2 \lambda=-2 λ = − 2
step 2：求出线性无关的特征向量。对于 λ = 1 \lambda=1 λ = 1 u 1 = ( 1 , − 1 , 1 ) T \mathbf u_1=(1,-1,1)^T u 1 = ( 1 , − 1 , 1 ) T
对于 λ = − 2 \lambda=-2 λ = − 2 u 2 = ( − 1 , 1 , 0 ) T \mathbf u_2=(-1,1,0)^T u 2 = ( − 1 , 1 , 0 ) T u 3 = ( − 1 , 0 , 1 ) T \mathbf u_3=(-1,0,1)^T u 3 = ( − 1 , 0 , 1 ) T
可以验证 u 1 , u 2 , u 3 \mathbf u_1,\mathbf u_2,\mathbf u_3 u 1 , u 2 , u 3
step 3：使用特征向量构造过渡矩阵(向量的次序不重要)
P = [ 1 − 1 − 1 − 1 1 0 1 0 1 ] P=\begin{bmatrix} 1&-1&-1 \\ -1&1&0 \\ 1&0&1 \end{bmatrix}
P = ⎣ ⎡ 1 − 1 1 − 1 1 0 − 1 0 1 ⎦ ⎤
step 4：使用对应的特征值构造对角阵(特征值的次序必须和矩阵P P P
Λ = [ 1 0 0 0 − 2 0 0 0 − 2 ] \Lambda=\begin{bmatrix} 1&0&0 \\ 0&-2&0 \\ 0&0&-2 \end{bmatrix}
Λ = ⎣ ⎡ 1 0 0 0 − 2 0 0 0 − 2 ⎦ ⎤
可简单验证 A P = P Λ AP=P\Lambda A P = P Λ P P P Λ = P − 1 A P \Lambda=P^{-1}AP Λ = P − 1 A P
一些常见变换的特征值与特征向量列举如下 ：
(1) 等比例缩放变换 [ k 0 0 k ] \begin{bmatrix}k &0\\0 &k\end{bmatrix} [ k 0 0 k ] ( λ − k ) 2 (\lambda-k)^2 ( λ − k ) 2 λ = k \lambda=k λ = k
(2) 普通缩放变换 [ k 1 0 0 k 2 ] \begin{bmatrix}k_1 &0\\0 &k_2\end{bmatrix} [ k 1 0 0 k 2 ] ( λ − k 1 ) ( λ − k 2 ) (\lambda-k_1)(\lambda-k_2) ( λ − k 1 ) ( λ − k 2 ) λ 1 = k 1 , λ 2 = k 2 \lambda_1=k_1,\lambda_2=k_2 λ 1 = k 1 , λ 2 = k 2 u 1 = [ 1 0 ] , u 2 = [ 0 1 ] \mathbf u_1=\begin{bmatrix}1\\0\end{bmatrix},\mathbf u_2=\begin{bmatrix}0\\1\end{bmatrix} u 1 = [ 1 0 ] , u 2 = [ 0 1 ]
(3) 旋转变换 [ cos θ − sin θ sin θ cos θ ] \begin{bmatrix}\cos\theta &-\sin\theta\\ \sin\theta &\cos\theta\end{bmatrix} [ cos θ sin θ − sin θ cos θ ] λ 2 + 2 λ cos θ + 1 \lambda^2+2\lambda\cos\theta+1 λ 2 + 2 λ cos θ + 1 λ 1 = cos θ + i sin θ , λ 2 = cos θ − i sin θ \lambda_1=\cos\theta+i\sin\theta,\lambda_2=\cos\theta-i\sin\theta λ 1 = cos θ + i sin θ , λ 2 = cos θ − i sin θ u 1 = [ 1 − i ] , u 2 = [ 1 i ] \mathbf u_1=\begin{bmatrix}1\\-i\end{bmatrix},\mathbf u_2=\begin{bmatrix}1\\i\end{bmatrix} u 1 = [ 1 − i ] , u 2 = [ 1 i ]
值得注意的是，特征值出现虚数的情况一般对应于变换中的某一种旋转。
(4) 水平剪切变换 [ 1 k 0 1 ] \begin{bmatrix}1 &k\\0 &1\end{bmatrix} [ 1 0 k 1 ] ( λ − 1 ) 2 (\lambda-1)^2 ( λ − 1 ) 2 λ = 1 \lambda=1 λ = 1 u 1 = [ 1 0 ] \mathbf u_1=\begin{bmatrix}1\\0\end{bmatrix} u 1 = [ 1 0 ]
许多实际问题都可归结为研究矩阵的方幂 A n ( n ∈ N ∗ ) A^n\quad (n\in\N^*) A n ( n ∈ N ∗ ) v \mathbf v v
性质 ：
设矩阵 A A A λ \lambda λ u \mathbf u u
A n u = λ n u A^n\mathbf u=\lambda^n\mathbf u
A n u = λ n u
设矩阵 A A A λ 1 , λ 2 \lambda_1,\lambda_2 λ 1 , λ 2 u 1 , u 2 \mathbf u_1,\mathbf u_2 u 1 , u 2 v \mathbf v v v = v 1 u 1 + v 2 u 2 \mathbf v=v_1\mathbf u_1+v_2\mathbf u_2 v = v 1 u 1 + v 2 u 2
A n v = v 1 λ 1 n u 1 + v 2 λ 2 n u 2 A^n\mathbf v=v_1\lambda_1^n\mathbf u_1+v_2\lambda_2^n\mathbf u_2
A n v = v 1 λ 1 n u 1 + v 2 λ 2 n u 2
证明：从线性变换的角度理解，性质1中矩阵 A A A
性质1用数学归纳法证明：n = 1 n=1 n = 1
A u = λ u A\mathbf u=\lambda\mathbf u
A u = λ u
(2) 假设当 n = k − 1 n=k-1 n = k − 1
A k − 1 u = λ k − 1 u A^{k-1}\mathbf u=\lambda^{k-1}\mathbf u
A k − 1 u = λ k − 1 u
当 n = k n=k n = k
A k u = A ( A k − 1 u ) = A ( λ k − 1 u ) = λ k − 1 ( A u ) = λ k u A^k\mathbf u=A(A^{k-1}\mathbf u)=A(\lambda^{k-1}\mathbf u)=\lambda^{k-1}(A\mathbf u)=\lambda^k\mathbf u
A k u = A ( A k − 1 u ) = A ( λ k − 1 u ) = λ k − 1 ( A u ) = λ k u
所以，对 n = k n=k n = k n ∈ N ∗ n\in\N^* n ∈ N ∗
实例 ：在扩散理论中的应用。设某物质能以气态和液态的混合状态存在，假定在任意一段很短的时间内5 % 5\% 5 % 1 % 1\% 1 %
为了研究的方便，用 g 0 , l 0 g_0,l_0 g 0 , l 0 ( g 0 + l 0 = 1 ) (g_0+l_0=1) ( g 0 + l 0 = 1 ) g n , l n g_n,l_n g n , l n n n n M M M
(1) 先求 g 1 , l 1 g_1,l_1 g 1 , l 1
可以看出，在很短时间后，气体由现在气体的 99 % 99\% 9 9 % 5 % 5\% 5 %
g 1 M = 0.99 g 0 M + 0.05 l 0 M g_1M=0.99g_0M+0.05l_0M
g 1 M = 0 . 9 9 g 0 M + 0 . 0 5 l 0 M
同理，在很短时间后的液体
l 1 M = 0.01 g 0 M + 0.95 l 0 M l_1M=0.01g_0M+0.95l_0M
l 1 M = 0 . 0 1 g 0 M + 0 . 9 5 l 0 M
因此
{ g 1 = 0.99 g 0 + 0.05 l 0 l 1 = 0.01 g 0 + 0.95 l 0 \begin{cases}
g_1=0.99g_0+0.05l_0 \\
l_1=0.01g_0+0.95l_0
\end{cases}
{ g 1 = 0 . 9 9 g 0 + 0 . 0 5 l 0 l 1 = 0 . 0 1 g 0 + 0 . 9 5 l 0
矩阵形式为
[ g 1 l 1 ] = [ 0.99 0.05 0.01 0.95 ] [ g 0 l 0 ] \begin{bmatrix} g_1\\l_1 \end{bmatrix}=
\begin{bmatrix} 0.99&0.05\\0.01&0.95 \end{bmatrix}
\begin{bmatrix} g_0\\l_0 \end{bmatrix}
[ g 1 l 1 ] = [ 0 . 9 9 0 . 0 1 0 . 0 5 0 . 9 5 ] [ g 0 l 0 ]
记矩阵P = [ 0.99 0.05 0.01 0.95 ] P=\begin{bmatrix} 0.99&0.05\\0.01&0.95 \end{bmatrix} P = [ 0 . 9 9 0 . 0 1 0 . 0 5 0 . 9 5 ]
[ g 1 l 1 ] = P [ g 0 l 0 ] \begin{bmatrix} g_1\\l_1 \end{bmatrix}=P\begin{bmatrix} g_0\\l_0 \end{bmatrix}
[ g 1 l 1 ] = P [ g 0 l 0 ]
矩阵 P P P
(2) 类似与 g 1 , l 1 g_1,l_1 g 1 , l 1
[ g 1 l 1 ] = P [ g 0 l 0 ] ; [ g 2 l 2 ] = P [ g 1 l 1 ] = P 2 [ g 0 l 0 ] ; ⋯ ⋯ [ g n l n ] = P [ g n − 1 l n − 1 ] = P n [ g 0 l 0 ] \begin{aligned}
& \begin{bmatrix} g_1\\l_1 \end{bmatrix}=P\begin{bmatrix} g_0\\l_0 \end{bmatrix}; \\
& \begin{bmatrix} g_2\\l_2 \end{bmatrix}=P\begin{bmatrix} g_1\\l_1 \end{bmatrix}=P^2\begin{bmatrix} g_0\\l_0 \end{bmatrix}; \\
& \cdots\cdots \\
& \begin{bmatrix} g_n\\l_n \end{bmatrix}=P\begin{bmatrix} g_{n-1}\\l_{n-1} \end{bmatrix}=P^n\begin{bmatrix} g_0\\l_0 \end{bmatrix}
\end{aligned}
[ g 1 l 1 ] = P [ g 0 l 0 ] ; [ g 2 l 2 ] = P [ g 1 l 1 ] = P 2 [ g 0 l 0 ] ; ⋯ ⋯ [ g n l n ] = P [ g n − 1 l n − 1 ] = P n [ g 0 l 0 ]
由于该问题已转化为矩阵指数的形式，我们可以用矩阵特征值和特征向量的性质求解。
(3) 可以证明矩阵
A = [ 1 − p q p 1 − q ] ( 0 < p , q < 1 ) A=\begin{bmatrix}1-p & q\\ p &1-q\end{bmatrix}\quad (0<p,q<1)
A = [ 1 − p p q 1 − q ] ( 0 < p , q < 1 )
的特征值是 λ 1 = 1 , λ 2 = 1 − p − q \lambda_1=1,\ \lambda_2=1-p-q λ 1 = 1 , λ 2 = 1 − p − q u 1 = [ q p ] , u 2 = [ 1 − 1 ] \mathbf u_1=\begin{bmatrix} q\\ p\end{bmatrix},\ \mathbf u_2=\begin{bmatrix} 1\\ -1\end{bmatrix} u 1 = [ q p ] , u 2 = [ 1 − 1 ]
从而得到矩阵 P P P λ 1 = 1 , λ 2 = 0.94 \lambda_1=1,\ \lambda_2=0.94 λ 1 = 1 , λ 2 = 0 . 9 4 u 1 = [ 0.05 0.01 ] , u 2 = [ 1 − 1 ] \mathbf u_1=\begin{bmatrix} 0.05\\ 0.01\end{bmatrix},\ \mathbf u_2=\begin{bmatrix} 1\\ -1\end{bmatrix} u 1 = [ 0 . 0 5 0 . 0 1 ] , u 2 = [ 1 − 1 ] [ g 0 l 0 ] \begin{bmatrix} g_0\\l_0 \end{bmatrix} [ g 0 l 0 ]
[ g 0 l 0 ] = k 1 [ 0.05 0.01 ] + k 2 [ 1 − 1 ] where g 0 + l 0 = 1 \begin{bmatrix} g_0\\l_0 \end{bmatrix}=k_1\begin{bmatrix} 0.05\\ 0.01\end{bmatrix}+k_2\begin{bmatrix} 1\\ -1\end{bmatrix}\quad\text{where }g_0+l_0=1
[ g 0 l 0 ] = k 1 [ 0 . 0 5 0 . 0 1 ] + k 2 [ 1 − 1 ] where g 0 + l 0 = 1
解得 k 1 = 50 3 , k 2 = g 0 − 5 6 k_1=\frac{50}{3},k_2=g_0-\frac{5}{6} k 1 = 3 5 0 , k 2 = g 0 − 6 5 n n n
[ g n l n ] = P n [ g 0 l 0 ] = k 1 × 1 n [ 0.05 0.01 ] + k 2 × 0.9 4 n [ 1 − 1 ] \begin{bmatrix} g_n\\l_n \end{bmatrix}=P^n\begin{bmatrix} g_0\\l_0 \end{bmatrix}=k_1\times1^n\begin{bmatrix} 0.05\\ 0.01\end{bmatrix}+k_2\times0.94^n\begin{bmatrix} 1\\ -1\end{bmatrix}
[ g n l n ] = P n [ g 0 l 0 ] = k 1 × 1 n [ 0 . 0 5 0 . 0 1 ] + k 2 × 0 . 9 4 n [ 1 − 1 ]
从而 g n = 0.05 k 1 + 0.9 4 n k 2 , l n = 0.01 k 1 − 0.9 4 n k 2 g_n=0.05k_1+0.94^nk_2,\ l_n=0.01k_1-0.94^nk_2 g n = 0 . 0 5 k 1 + 0 . 9 4 n k 2 , l n = 0 . 0 1 k 1 − 0 . 9 4 n k 2
g ∞ = lim n → ∞ ( 0.05 k 1 + 0.9 4 n k 2 ) = 0.05 k 1 = 5 6 l ∞ = lim n → ∞ ( 0.01 k 1 − 0.9 4 n k 2 ) = 0.01 k 1 = 1 6 g_{\infty}=\lim\limits_{n\to\infty}(0.05k_1+0.94^nk_2)=0.05k_1=\frac{5}{6} \\
l_{\infty}=\lim\limits_{n\to\infty}(0.01k_1-0.94^nk_2)=0.01k_1=\frac{1}{6}
g ∞ = n → ∞ lim ( 0 . 0 5 k 1 + 0 . 9 4 n k 2 ) = 0 . 0 5 k 1 = 6 5 l ∞ = n → ∞ lim ( 0 . 0 1 k 1 − 0 . 9 4 n k 2 ) = 0 . 0 1 k 1 = 6 1
那么，我们可以得到，不管该物质最初的气液比率如何，最终将达到一个平衡状态，此时该物质的 5 / 6 5/6 5 / 6 1 / 6 1/6 1 / 6
三维几何空间是线性空间的一个重要例子，如果分析一下三维几何空间，我们就会发现它还具有一般线性空间不具备的重要性质：三维几何空间中向量有长度和夹角，这称为三维几何空间的度量性质。现在，我们在一般线性空间中引入度量有关的概念。
我们知道三维几何空间中向量的长度和夹角可由向量的内积来决定。内积就是一个函数，它把向量对u , v \mathbf u,\mathbf v u , v V V V ⟨ u , v ⟩ \lang\mathbf u,\mathbf v\rang ⟨ u , v ⟩
⟨ u , v ⟩ = ⟨ v , u ⟩ \lang\mathbf u,\mathbf v\rang=\lang\mathbf v,\mathbf u\rang ⟨ u , v ⟩ = ⟨ v , u ⟩ ⟨ u , v + w ⟩ = ⟨ u , v ⟩ + ⟨ u , w ⟩ \lang\mathbf u,\mathbf v+\mathbf w\rang=\lang\mathbf u,\mathbf v\rang+\lang\mathbf u,\mathbf w\rang ⟨ u , v + w ⟩ = ⟨ u , v ⟩ + ⟨ u , w ⟩ c ⟨ u , v ⟩ = ⟨ c u , v ⟩ = ⟨ u , c v ⟩ c\lang\mathbf u,\mathbf v\rang=\lang c\mathbf u,\mathbf v\rang=\lang \mathbf u,c\mathbf v\rang c ⟨ u , v ⟩ = ⟨ c u , v ⟩ = ⟨ u , c v ⟩ ⟨ v , v ⟩ ⩾ 0 , ⟨ v , v ⟩ = 0 iff v = 0 \lang\mathbf v,\mathbf v\rang\geqslant 0,\ \lang\mathbf v,\mathbf v\rang=0\text{ iff }\mathbf v=0 ⟨ v , v ⟩ ⩾ 0 , ⟨ v , v ⟩ = 0 iff v = 0
定义了内积运算的向量空间称为内积空间 (innerproductspace)。
注意，内积只给出了性质，而没给出具体的计算法则。
对于向量空间 V V V
u = u 1 e 1 + ⋯ + u n e n v = v 1 e 1 + ⋯ + v n e n \mathbf u=u_1\mathbf e_1+\cdots+u_n\mathbf e_n \\
\mathbf v=v_1\mathbf e_1+\cdots+v_n\mathbf e_n
u = u 1 e 1 + ⋯ + u n e n v = v 1 e 1 + ⋯ + v n e n
由内积的基本性质知道，其内积
⟨ u , v ⟩ = ⟨ u 1 e 1 + ⋯ + u n e n , v 1 e 1 + ⋯ + v n e n ⟩ = ∑ i , j u i v j ⟨ e i , e j ⟩ \lang\mathbf u,\mathbf v\rang =\lang u_1\mathbf e_1+\cdots+u_n\mathbf e_n,\ v_1\mathbf e_1+\cdots+v_n\mathbf e_n\rang
=\sum_{i,j}u_iv_j\lang\mathbf e_i,\mathbf e_j\rang
⟨ u , v ⟩ = ⟨ u 1 e 1 + ⋯ + u n e n , v 1 e 1 + ⋯ + v n e n ⟩ = i , j ∑ u i v j ⟨ e i , e j ⟩
可见，只要知道基向量之间的内积，就可以求出任意两个向量的内积。上式用矩阵乘法表示为
⟨ u , v ⟩ = u T M v \lang\mathbf u,\mathbf v\rang=\mathbf u^TM\mathbf v
⟨ u , v ⟩ = u T M v
其中，矩阵 M = ( δ i j ) M=(\delta_{ij}) M = ( δ i j ) 度量矩阵 ，包含了基向量两两之间的内积
δ i j = ⟨ e i , e j ⟩ \delta_{ij}=\lang\mathbf e_i,\mathbf e_j\rang
δ i j = ⟨ e i , e j ⟩
定义 ：三维几何空间的度量概念也推广到向量空间中
∥ v ∥ = ⟨ v , v ⟩ \|\mathbf v\|=\sqrt{\lang\mathbf v,\mathbf v\rang} ∥ v ∥ = ⟨ v , v ⟩ 长度 或范数 ；dist ( u , v ) = ∥ u − v ∥ \text{dist}(\mathbf u,\mathbf v)=\|\mathbf u-\mathbf v\| dist ( u , v ) = ∥ u − v ∥ u , v \mathbf u,\mathbf v u , v 距离 ；两向量的夹角余弦 cos θ = ⟨ u , v ⟩ ∥ u ∥ ⋅ ∥ v ∥ \cos\theta=\dfrac{\lang\mathbf u,\mathbf v\rang}{\|\mathbf u\|\cdot\|\mathbf v\|} cos θ = ∥ u ∥ ⋅ ∥ v ∥ ⟨ u , v ⟩
若 ⟨ u , v ⟩ = 0 \lang\mathbf u,\mathbf v\rang=0 ⟨ u , v ⟩ = 0 u , v \mathbf u,\mathbf v u , v 正交 (orthogonal)；
长度为1的向量称为单位向量 ；
如果向量空间的基向量都为单位向量且两两正交，则称为标准正交基 (orthonormal basis)；
性质 ：
∥ v ∥ ⩾ 0 , ∥ v ∥ = 0 iff v = 0 \|\mathbf v\|\geqslant 0,\quad \|\mathbf v\|=0\text{ iff }\mathbf v=0 ∥ v ∥ ⩾ 0 , ∥ v ∥ = 0 iff v = 0 c ∥ v ∥ = ∣ c ∣ ∥ v ∥ c\|\mathbf v\|=|c|\ \|\mathbf v\| c ∥ v ∥ = ∣ c ∣ ∥ v ∥ 勾股定理 ：若 u , v \mathbf u,\mathbf v u , v V V V ∥ u + v ∥ 2 = ∥ u ∥ 2 + ∥ v ∥ 2 \|\mathbf u+\mathbf v\|^2=\|\mathbf u\|^2+\|\mathbf v\|^2 ∥ u + v ∥ 2 = ∥ u ∥ 2 + ∥ v ∥ 2 柯西-施瓦茨不等式 ：∣ ⟨ u , v ⟩ ∣ ⩽ ∥ u ∥ ⋅ ∥ v ∥ |\lang\mathbf u,\mathbf v\rang|\leqslant\|\mathbf u\|\cdot\|\mathbf v\| ∣ ⟨ u , v ⟩ ∣ ⩽ ∥ u ∥ ⋅ ∥ v ∥ 三角不等式 ： ∥ u + v ∥ ⩽ ∥ u ∥ + ∥ v ∥ \|\mathbf u+\mathbf v\|\leqslant\|\mathbf u\|+\|\mathbf v\| ∥ u + v ∥ ⩽ ∥ u ∥ + ∥ v ∥ 若向量组是一组两两正交的非零向量，则向量组线性无关
示例：向量空间的欧几里得内积 定义为
⟨ u , v ⟩ = u T v = u 1 v 1 + u 2 v 2 + ⋯ + u n v n \lang\mathbf u,\mathbf v\rang=\mathbf u^T\mathbf v=u_1v_1+u_2v_2+\cdots+u_nv_n
⟨ u , v ⟩ = u T v = u 1 v 1 + u 2 v 2 + ⋯ + u n v n
即采用的是标准正交基，度量矩阵为单位阵
δ i j = { 1 , i = j 0 , i ≠ j \delta_{ij}=\begin{cases}1, &i=j \\0, &i\neq j\end{cases}
δ i j = { 1 , 0 , i = j i = j
以后，当我们讨论内积空间时，总默认采用欧几里得内积。
正交补 ：设 W W W V V V z \mathbf z z W W W z \mathbf z z 正交于 W W W W W W W W W 正交补 (orthogonal complement)，并记作 W ⊥ W^{\perp} W ⊥
W ⊥ = { z ∈ V ∣ ∀ w ∈ W , ⟨ z , w ⟩ = 0 } W^{\perp}=\{\mathbf z\in V\mid \forall\mathbf w\in W,\lang\mathbf z,\mathbf w\rang=0\}
W ⊥ = { z ∈ V ∣ ∀ w ∈ W , ⟨ z , w ⟩ = 0 }
由其次方程 A x = 0 A\mathbf x=0 A x = 0
( row A ) ⊥ = ker A (\text{row }A)^{\perp}=\ker A ( row A ) ⊥ = ker A ( col A ) ⊥ = ker A T (\text{col }A)^{\perp}=\ker A^T ( col A ) ⊥ = ker A T
定理 ：若 z \mathbf z z u 1 , u 2 , ⋯ , u p \mathbf u_1,\mathbf u_2,\cdots,\mathbf u_p u 1 , u 2 , ⋯ , u p z \mathbf z z W = span { u 1 , u 2 , ⋯ , u p } W=\text{span }\{\mathbf u_1,\mathbf u_2,\cdots,\mathbf u_p\} W = span { u 1 , u 2 , ⋯ , u p }
证：对于任意 v ∈ W \mathbf v\in W v ∈ W
v = x 1 u 1 + x 2 u 2 + ⋯ + x p u p \mathbf v=x_1\mathbf u_1+x_2\mathbf u_2+\cdots+x_p\mathbf u_p
v = x 1 u 1 + x 2 u 2 + ⋯ + x p u p
由内积的性质知
⟨ z , v ⟩ = x 1 ⟨ z , u 1 ⟩ + x 2 ⟨ z , u 2 ⟩ + ⋯ + x p ⟨ z , u p ⟩ = 0 \lang\mathbf z,\mathbf v\rang=x_1\lang\mathbf z,\mathbf u_1\rang+x_2\lang\mathbf z,\mathbf u_2\rang+\cdots+x_p\lang\mathbf z,\mathbf u_p\rang=0
⟨ z , v ⟩ = x 1 ⟨ z , u 1 ⟩ + x 2 ⟨ z , u 2 ⟩ + ⋯ + x p ⟨ z , u p ⟩ = 0
于是可知z \mathbf z z W W W
定义 ：若矩阵 A A A A T A = I A^TA=I A T A = I A − 1 = A T A^{-1}=A^T A − 1 = A T A A A 正交矩阵 。
上式用 A A A
[ a 1 T a 2 T ⋮ a n T ] ( a 1 , a 2 , ⋯ , a n ) = I n \begin{bmatrix}\mathbf a_1^T\\ \mathbf a_2^T\\ \vdots\\\mathbf a_n^T\end{bmatrix}
(\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n)=I_n
⎣ ⎢ ⎢ ⎢ ⎡ a 1 T a 2 T ⋮ a n T ⎦ ⎥ ⎥ ⎥ ⎤ ( a 1 , a 2 , ⋯ , a n ) = I n
于是得到
a i a j = { 1 , i = j 0 , i ≠ j \mathbf a_i\mathbf a_j=\begin{cases}1, &i=j\\ 0, &i\neq j\end{cases}
a i a j = { 1 , 0 , i = j i = j
定理 ：矩阵 A A A A A A
考虑到 A T A = I A^TA=I A T A = I A A T = I AA^T=I A A T = I A A A
正交矩阵 A A A 正交变换 。设 u , v ∈ V \mathbf u,\mathbf v\in V u , v ∈ V
⟨ A u , A v ⟩ = ( A u ) T ( A v ) = u T v = ⟨ u , v ⟩ \lang A\mathbf u,A\mathbf v\rang=(A\mathbf u)^T(A\mathbf v)=\mathbf u^T\mathbf v=\lang\mathbf u,\mathbf v\rang
⟨ A u , A v ⟩ = ( A u ) T ( A v ) = u T v = ⟨ u , v ⟩
定理 ：正交变换后向量内积保持不变，从而向量的长度、距离和夹角均保持不变。
正交分解定理 ：设 W W W V V V v ∈ V \mathbf v\in V v ∈ V
v = v ^ + z \mathbf v=\hat{\mathbf v}+\mathbf z
v = v ^ + z
其中 v ^ ∈ W , z ∈ W ⊥ \hat{\mathbf v}\in W,\mathbf z\in W^{\perp} v ^ ∈ W , z ∈ W ⊥ v ^ \hat{\mathbf v} v ^ v \mathbf v v W W W 正交投影 (orthogonal projection)，记作 proj W v \text{proj}_W\mathbf v proj W v u 1 , u 2 , ⋯ , u p \mathbf u_1,\mathbf u_2,\cdots,\mathbf u_p u 1 , u 2 , ⋯ , u p W W W
v ^ = proj W v = ⟨ v , u 1 ⟩ ⟨ u 1 , u 1 ⟩ u 1 + ⟨ v , u 2 ⟩ ⟨ u 2 , u 2 ⟩ u 2 + ⋯ + ⟨ v , u p ⟩ ⟨ u p , u p ⟩ u p \hat{\mathbf v}=\text{proj}_W\mathbf v=\frac{\lang\mathbf v,\mathbf u_1\rang}{\lang\mathbf u_1,\mathbf u_1\rang}\mathbf u_1+\frac{\lang\mathbf v,\mathbf u_2\rang}{\lang\mathbf u_2,\mathbf u_2\rang}\mathbf u_2+\cdots+\frac{\lang\mathbf v,\mathbf u_p\rang}{\lang\mathbf u_p,\mathbf u_p\rang}\mathbf u_p
v ^ = proj W v = ⟨ u 1 , u 1 ⟩ ⟨ v , u 1 ⟩ u 1 + ⟨ u 2 , u 2 ⟩ ⟨ v , u 2 ⟩ u 2 + ⋯ + ⟨ u p , u p ⟩ ⟨ v , u p ⟩ u p
证：若u 1 , u 2 , ⋯ , u p \mathbf u_1,\mathbf u_2,\cdots,\mathbf u_p u 1 , u 2 , ⋯ , u p W W W v ∈ V \mathbf v\in V v ∈ V
v ^ = x 1 u 1 + x 2 u 2 + ⋯ + x p u p \hat{\mathbf v}=x_1\mathbf u_1+x_2\mathbf u_2+\cdots+x_p\mathbf u_p
v ^ = x 1 u 1 + x 2 u 2 + ⋯ + x p u p
令 z = v − v ^ \mathbf z=\mathbf v-\hat{\mathbf v} z = v − v ^ u j \mathbf u_j u j z ∈ W ⊥ \mathbf z\in W^{\perp} z ∈ W ⊥
⟨ z , u j ⟩ = ⟨ v − v ^ , u j ⟩ = ⟨ v , u j ⟩ − x j ⟨ u j , u j ⟩ = 0 \lang\mathbf z,\mathbf u_j\rang=\lang\mathbf v-\hat{\mathbf v},\mathbf u_j\rang=
\lang\mathbf v,\mathbf u_j\rang-x_j\lang\mathbf u_j,\mathbf u_j\rang=0
⟨ z , u j ⟩ = ⟨ v − v ^ , u j ⟩ = ⟨ v , u j ⟩ − x j ⟨ u j , u j ⟩ = 0
于是便求得了投影的系数
x j = ⟨ v , u j ⟩ ⟨ u j , u j ⟩ x_j=\frac{\lang\mathbf v,\mathbf u_j\rang}{\lang\mathbf u_j,\mathbf u_j\rang}
x j = ⟨ u j , u j ⟩ ⟨ v , u j ⟩
性质 ：设 W W W V V V v ∈ V , v ^ = proj W v \mathbf v\in V,\hat{\mathbf v}=\text{proj}_W\mathbf v v ∈ V , v ^ = proj W v
(最佳逼近定理) v ^ \hat{\mathbf v} v ^ W W W v \mathbf v v ∀ w ∈ W , ∥ v − v ^ ∥ ⩽ ∥ v − w ∥ \forall\mathbf w\in W,\ \|\mathbf v-\hat{\mathbf v}\|\leqslant \|\mathbf v-\mathbf w\| ∀ w ∈ W , ∥ v − v ^ ∥ ⩽ ∥ v − w ∥
若U = ( u 1 , u 2 , ⋯ , u p ) U=(\mathbf u_1,\mathbf u_2,\cdots,\mathbf u_p) U = ( u 1 , u 2 , ⋯ , u p ) W W W proj W v = U U T v \text{proj}_W\mathbf v=UU^T\mathbf v proj W v = U U T v
证：(1) 取W W W w \mathbf w w
v − w = ( v − v ^ ) + ( v ^ − w ) \mathbf v-\mathbf w=(\mathbf v-\hat{\mathbf v})+(\hat{\mathbf v}-\mathbf w)
v − w = ( v − v ^ ) + ( v ^ − w )
由勾股定理定理知道
∥ v − w ∥ 2 = ∥ v − v ^ ∥ 2 + ∥ v ^ − w ∥ 2 \|\mathbf v-\mathbf w\|^2=\|\mathbf v-\hat{\mathbf v}\|^2+\|\hat{\mathbf v}-\mathbf w\|^2
∥ v − w ∥ 2 = ∥ v − v ^ ∥ 2 + ∥ v ^ − w ∥ 2
由于 ∥ v ^ − w ∥ 2 ⩾ 0 \|\hat{\mathbf v}-\mathbf w\|^2\geqslant 0 ∥ v ^ − w ∥ 2 ⩾ 0
(2) 由于u 1 , u 2 , ⋯ , u p \mathbf u_1,\mathbf u_2,\cdots,\mathbf u_p u 1 , u 2 , ⋯ , u p W W W
proj W v = ⟨ v , u 1 ⟩ u 1 + ⟨ v , u 2 ⟩ u 2 ⋯ + + ⟨ v , u p ⟩ u p = u 1 T v u 1 + u 2 T v u 2 + ⋯ + u p T v u p = U U T v \text{proj}_W\mathbf v=\lang\mathbf v,\mathbf u_1\rang\mathbf u_1+\lang\mathbf v,\mathbf u_2\rang\mathbf u_2\cdots++\lang\mathbf v,\mathbf u_p\rang\mathbf u_p\\
=\mathbf u_1^T\mathbf v\mathbf u_1+\mathbf u_2^T\mathbf v\mathbf u_2+\cdots+\mathbf u_p^T\mathbf v\mathbf u_p=UU^T\mathbf v
proj W v = ⟨ v , u 1 ⟩ u 1 + ⟨ v , u 2 ⟩ u 2 ⋯ + + ⟨ v , u p ⟩ u p = u 1 T v u 1 + u 2 T v u 2 + ⋯ + u p T v u p = U U T v
施密特(Schmidt)正交化 方法是将向量空间 V V V a 1 , a 2 , ⋯ , a r \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_r a 1 , a 2 , ⋯ , a r e 1 , e 2 , ⋯ , e r \mathbf e_1,\mathbf e_2,\cdots,\mathbf e_r e 1 , e 2 , ⋯ , e r
取
b 1 = a 1 b 2 = a 2 − b 1 T a 2 b 1 T b 1 b 1 b 3 = a 3 − b 1 T a 3 b 1 T b 1 b 1 − b 2 T a 3 b 2 T b 2 b 2 ⋯ b r = a r − b 1 T a r b 1 T b 1 b 1 − b 2 T a r b 2 T b 2 b 2 − ⋯ − b r − 1 T a r − 1 b r − 1 T b r − 1 b r − 1 \begin{aligned}
&\mathbf b_1=\mathbf a_1 \\
&\mathbf b_2=\mathbf a_2-\frac{\mathbf b_1^T\mathbf a_2}{\mathbf b_1^T\mathbf b_1}\mathbf b_1 \\
&\mathbf b_3=\mathbf a_3-\frac{\mathbf b_1^T\mathbf a_3}{\mathbf b_1^T\mathbf b_1}\mathbf b_1-\frac{\mathbf b_2^T\mathbf a_3}{\mathbf b_2^T\mathbf b_2}\mathbf b_2 \\
&\cdots \\
&\mathbf b_r=\mathbf a_r-\frac{\mathbf b_1^T\mathbf a_r}{\mathbf b_1^T\mathbf b_1}\mathbf b_1-\frac{\mathbf b_2^T\mathbf a_r}{\mathbf b_2^T\mathbf b_2}\mathbf b_2-\cdots-\frac{\mathbf b_{r-1}^T\mathbf a_{r-1}}{\mathbf b_{r-1}^T\mathbf b_{r-1}}\mathbf b_{r-1} \\
\end{aligned}
b 1 = a 1 b 2 = a 2 − b 1 T b 1 b 1 T a 2 b 1 b 3 = a 3 − b 1 T b 1 b 1 T a 3 b 1 − b 2 T b 2 b 2 T a 3 b 2 ⋯ b r = a r − b 1 T b 1 b 1 T a r b 1 − b 2 T b 2 b 2 T a r b 2 − ⋯ − b r − 1 T b r − 1 b r − 1 T a r − 1 b r − 1
那么 b 1 , b 2 , ⋯ , b r \mathbf b_1,\mathbf b_2,\cdots,\mathbf b_r b 1 , b 2 , ⋯ , b r V V V
V = span { a 1 , a 2 , ⋯ , a r } = span { b 1 , b 2 , ⋯ , b r } V=\text{span }\{\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_r\}=\text{span }\{\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_r\}
V = span { a 1 , a 2 , ⋯ , a r } = span { b 1 , b 2 , ⋯ , b r }
再把它们单位化
e 1 = 1 ∥ b 1 ∥ b 1 , e 2 = 1 ∥ b 2 ∥ b 2 , ⋯ , e r = 1 ∥ b r ∥ b r \mathbf e_1=\frac{1}{\|\mathbf b_1\|}\mathbf b_1,\quad\mathbf e_2=\frac{1}{\|\mathbf b_2\|}\mathbf b_2,\quad\cdots,\quad\mathbf e_r=\frac{1}{\|\mathbf b_r\|}\mathbf b_r
e 1 = ∥ b 1 ∥ 1 b 1 , e 2 = ∥ b 2 ∥ 1 b 2 , ⋯ , e r = ∥ b r ∥ 1 b r
最终获得 V V V
例：设 a 1 = [ 1 1 1 1 ] , a 2 = [ 0 1 1 1 ] , a 3 = [ 0 0 1 1 ] \mathbf a_1=\begin{bmatrix}1\\1\\1\\1\end{bmatrix},\mathbf a_2=\begin{bmatrix}0\\1\\1\\1\end{bmatrix},\mathbf a_3=\begin{bmatrix}0\\0\\1\\1\end{bmatrix} a 1 = ⎣ ⎢ ⎢ ⎡ 1 1 1 1 ⎦ ⎥ ⎥ ⎤ , a 2 = ⎣ ⎢ ⎢ ⎡ 0 1 1 1 ⎦ ⎥ ⎥ ⎤ , a 3 = ⎣ ⎢ ⎢ ⎡ 0 0 1 1 ⎦ ⎥ ⎥ ⎤ V V V V V V
解：step 1 取第一个基向量 b 1 = a 1 , W 1 = span { a 1 } = span { b 1 } \mathbf b_1=\mathbf a_1,W_1=\text{span}\{\mathbf a_1\}=\text{span}\{\mathbf b_1\} b 1 = a 1 , W 1 = span { a 1 } = span { b 1 }
step 2 取第二个基向量
b 2 = a 2 − proj W 1 a 2 = a 2 − b 1 T a 2 b 1 T b 1 b 1 = [ 0 1 1 1 ] − 3 4 [ 1 1 1 1 ] = [ − 3 / 4 1 / 4 1 / 4 1 / 4 ] \mathbf b_2=\mathbf a_2-\text{proj}_{W_1}\mathbf a_2=
\mathbf a_2-\frac{\mathbf b_1^T\mathbf a_2}{\mathbf b_1^T\mathbf b_1}\mathbf b_1\\
=\begin{bmatrix}0\\1\\1\\1\end{bmatrix}-\frac{3}{4}\begin{bmatrix}1\\1\\1\\1\end{bmatrix}=
\begin{bmatrix}-3/4\\1/4\\1/4\\1/4\end{bmatrix}
b 2 = a 2 − proj W 1 a 2 = a 2 − b 1 T b 1 b 1 T a 2 b 1 = ⎣ ⎢ ⎢ ⎡ 0 1 1 1 ⎦ ⎥ ⎥ ⎤ − 4 3 ⎣ ⎢ ⎢ ⎡ 1 1 1 1 ⎦ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎡ − 3 / 4 1 / 4 1 / 4 1 / 4 ⎦ ⎥ ⎥ ⎤
为计算方便，缩放 b 2 = ( − 3 , 1 , 1 , 1 ) T \mathbf b_2=(-3,1,1,1)^T b 2 = ( − 3 , 1 , 1 , 1 ) T W 2 = span { b 1 , b 2 } W_2=\text{span}\{\mathbf b_1,\mathbf b_2\} W 2 = span { b 1 , b 2 }
step 3 取第三个基向量
b 3 = a 3 − proj W 2 a 3 = a 3 − b 1 T a 3 b 1 T b 1 b 1 − b 2 T a 3 b 2 T b 2 b 2 = [ 0 0 1 1 ] − 2 4 [ 1 1 1 1 ] − 2 12 [ − 3 1 1 1 ] = [ 0 − 2 / 3 1 / 3 1 / 3 ] \mathbf b_3=\mathbf a_3-\text{proj}_{W_2}\mathbf a_3=
\mathbf a_3-\frac{\mathbf b_1^T\mathbf a_3}{\mathbf b_1^T\mathbf b_1}\mathbf b_1-\frac{\mathbf b_2^T\mathbf a_3}{\mathbf b_2^T\mathbf b_2}\mathbf b_2\\
=\begin{bmatrix}0\\0\\1\\1\end{bmatrix}-
\frac{2}{4}\begin{bmatrix}1\\1\\1\\1\end{bmatrix}-
\frac{2}{12}\begin{bmatrix}-3\\1\\1\\1\end{bmatrix}=
\begin{bmatrix}0\\-2/3\\1/3\\1/3\end{bmatrix}
b 3 = a 3 − proj W 2 a 3 = a 3 − b 1 T b 1 b 1 T a 3 b 1 − b 2 T b 2 b 2 T a 3 b 2 = ⎣ ⎢ ⎢ ⎡ 0 0 1 1 ⎦ ⎥ ⎥ ⎤ − 4 2 ⎣ ⎢ ⎢ ⎡ 1 1 1 1 ⎦ ⎥ ⎥ ⎤ − 1 2 2 ⎣ ⎢ ⎢ ⎡ − 3 1 1 1 ⎦ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎡ 0 − 2 / 3 1 / 3 1 / 3 ⎦ ⎥ ⎥ ⎤
定理 ：
实对称矩阵对应于不同特征值的特征向量必正交。
实对称矩阵可正交相似对角化。即对于对称矩阵 A A A P P P Λ = P − 1 A P \Lambda=P^{-1}AP Λ = P − 1 A P Λ \Lambda Λ A A A
证明：(1) 设实对称矩阵 A A A λ 1 , λ 2 \lambda_1,\lambda_2 λ 1 , λ 2 u 1 , u 2 \mathbf u_1,\mathbf u_2 u 1 , u 2
A T = A , A u 1 = λ 1 u 1 , A u 2 = λ 2 u 2 A^T=A,\quad A\mathbf u_1=\lambda_1\mathbf u_1,\quad A\mathbf u_2=\lambda_2\mathbf u_2
A T = A , A u 1 = λ 1 u 1 , A u 2 = λ 2 u 2
对 A u 1 = λ 1 u 1 A\mathbf u_1=\lambda_1\mathbf u_1 A u 1 = λ 1 u 1 u 2 \mathbf u_2 u 2
u 1 T A u 2 = λ 1 u 1 T u 2 \mathbf u_1^TA\mathbf u_2=\lambda_1\mathbf u_1^T\mathbf u_2
u 1 T A u 2 = λ 1 u 1 T u 2
对 A u 2 = λ 2 u 2 A\mathbf u_2=\lambda_2\mathbf u_2 A u 2 = λ 2 u 2 u 1 T \mathbf u_1^T u 1 T
u 1 T A u 2 = λ 2 u 1 T u 2 \mathbf u_1^TA\mathbf u_2=\lambda_2\mathbf u_1^T\mathbf u_2
u 1 T A u 2 = λ 2 u 1 T u 2
两式相减，得到
( λ 1 − λ 2 ) u 1 T u 2 = 0 (\lambda_1-\lambda_2)\mathbf u_1^T\mathbf u_2=0
( λ 1 − λ 2 ) u 1 T u 2 = 0
由于 λ 1 ≠ λ 2 \lambda_1\neq \lambda_2 λ 1 = λ 2 u 1 T u 2 = 0 \mathbf u_1^T\mathbf u_2=0 u 1 T u 2 = 0 u 1 , u 2 \mathbf u_1,\mathbf u_2 u 1 , u 2
例：将矩阵A = [ 3 − 2 4 − 2 6 2 4 2 3 ] A=\begin{bmatrix}3&-2&4\\-2&6&2\\4&2&3\end{bmatrix} A = ⎣ ⎡ 3 − 2 4 − 2 6 2 4 2 3 ⎦ ⎤
解：特征方程 det ( A − λ I ) = − ( λ − 7 ) 2 ( λ + 2 ) = 0 \det(A-\lambda I)=-(\lambda-7)^2(\lambda+2)=0 det ( A − λ I ) = − ( λ − 7 ) 2 ( λ + 2 ) = 0
λ = 7 : v 1 = [ 1 0 1 ] , v 2 = [ − 1 / 2 1 0 ] ; λ = − 2 : v 1 = [ − 1 − 1 / 2 1 ] \lambda=7:\mathbf v_1=\begin{bmatrix}1\\0\\1\end{bmatrix},
\mathbf v_2=\begin{bmatrix}-1/2\\1\\0\end{bmatrix}; \quad
\lambda=-2:\mathbf v_1=\begin{bmatrix}-1\\-1/2\\1\end{bmatrix}
λ = 7 : v 1 = ⎣ ⎡ 1 0 1 ⎦ ⎤ , v 2 = ⎣ ⎡ − 1 / 2 1 0 ⎦ ⎤ ; λ = − 2 : v 1 = ⎣ ⎡ − 1 − 1 / 2 1 ⎦ ⎤
尽管 v 1 , v 2 \mathbf v_1,\mathbf v_2 v 1 , v 2 v 1 \mathbf v_1 v 1 v 2 \mathbf v_2 v 2
z 2 = v 2 − v 1 T v 2 v 1 T v 1 v 1 = [ − 1 / 4 1 1 / 4 ] \mathbf z_2=\mathbf v_2-\frac{\mathbf v_1^T\mathbf v_2}{\mathbf v_1^T\mathbf v_1}\mathbf v_1=\begin{bmatrix}-1/4\\1\\1/4\end{bmatrix}
z 2 = v 2 − v 1 T v 1 v 1 T v 2 v 1 = ⎣ ⎡ − 1 / 4 1 1 / 4 ⎦ ⎤
由于 z 2 \mathbf z_2 z 2 λ = 7 \lambda=7 λ = 7 v 1 , v 2 \mathbf v_1,\mathbf v_2 v 1 , v 2 z 2 \mathbf z_2 z 2 λ = 7 \lambda=7 λ = 7
分别将 v 1 , v 2 , v 3 \mathbf v_1,\mathbf v_2,\mathbf v_3 v 1 , v 2 , v 3
u 1 = [ 1 / 2 0 1 / 2 ] , u 2 = [ − 1 / 18 4 / 18 1 / 18 ] , u 3 = [ − 2 / 3 − 1 / 3 2 / 3 ] \mathbf u_1=\begin{bmatrix}1/\sqrt{2}\\0\\1/\sqrt{2}\end{bmatrix},
\mathbf u_2=\begin{bmatrix}-1/\sqrt{18}\\4/\sqrt{18}\\1/\sqrt{18}\end{bmatrix},
\mathbf u_3=\begin{bmatrix}-2/3\\-1/3\\2/3\end{bmatrix}
u 1 = ⎣ ⎡ 1 / 2 0 1 / 2 ⎦ ⎤ , u 2 = ⎣ ⎡ − 1 / 1 8 4 / 1 8 1 / 1 8 ⎦ ⎤ , u 3 = ⎣ ⎡ − 2 / 3 − 1 / 3 2 / 3 ⎦ ⎤
令
P = ( u 1 , u 2 , u 3 ) = [ 1 / 2 − 1 / 18 − 2 / 3 0 4 / 18 − 1 / 3 1 / 2 1 / 18 2 / 3 ] , Λ = [ 7 0 0 0 7 0 0 0 − 2 ] P=(\mathbf u_1,\mathbf u_2,\mathbf u_3)=\begin{bmatrix}1/\sqrt{2}&-1/\sqrt{18}&-2/3\\0&4/\sqrt{18}&-1/3\\1/\sqrt{2}&1/\sqrt{18}&2/3\end{bmatrix},\quad
\Lambda=\begin{bmatrix}7&0&0\\0&7&0\\0&0&-2\end{bmatrix}
P = ( u 1 , u 2 , u 3 ) = ⎣ ⎡ 1 / 2 0 1 / 2 − 1 / 1 8 4 / 1 8 1 / 1 8 − 2 / 3 − 1 / 3 2 / 3 ⎦ ⎤ , Λ = ⎣ ⎡ 7 0 0 0 7 0 0 0 − 2 ⎦ ⎤
于是正交矩阵 P P P A A A A = P Λ P − 1 A=P\Lambda P^{-1} A = P Λ P − 1
对称矩阵的谱 ：矩阵 A A A A A A 谱 (spectrum)
spec A = { λ ∈ C ∣ det ( A − λ I ) = 0 } \text{spec }A=\{\lambda\in\Complex\mid\det(A-\lambda I)=0\}
spec A = { λ ∈ C ∣ det ( A − λ I ) = 0 }
性质 设 A A A n n n
A A A n n n 对于每一个特征值，对应的特征空间的维数等于特征方程的根的重数；
不同特征值的特征空间相互正交的；
A A A
谱分解 ：假设对称矩阵 A = P Λ P − 1 A=P\Lambda P^{-1} A = P Λ P − 1 P P P A A A u 1 , u 2 , ⋯ , u n \mathbf u_1,\mathbf u_2,\cdots,\mathbf u_n u 1 , u 2 , ⋯ , u n λ 1 , λ 2 , ⋯ , λ n \lambda_1,\lambda_2,\cdots,\lambda_n λ 1 , λ 2 , ⋯ , λ n Λ \Lambda Λ P T = P − 1 P^T=P^{-1} P T = P − 1
A = P Λ P − 1 = ( u 1 , u 2 , ⋯ , u n ) [ λ 1 λ 2 ⋱ λ n ] [ u 1 T u 2 T ⋮ u n T ] = ( λ 1 u 1 , λ 2 u 2 , ⋯ , λ n u n ) [ u 1 T u 2 T ⋮ u n T ] = λ 1 u 1 u 1 T + λ 2 u 2 u 2 T + ⋯ + λ n u n u n T \begin{aligned}
A&=P\Lambda P^{-1}=(\mathbf u_1,\mathbf u_2,\cdots,\mathbf u_n)
\begin{bmatrix}\lambda_1\\&\lambda_2\\&&\ddots\\&&&\lambda_n\end{bmatrix}
\begin{bmatrix}\mathbf u_1^T\\\mathbf u_2^T\\\vdots\\\mathbf u_n^T\end{bmatrix} \\
&=(\lambda_1\mathbf u_1,\lambda_2\mathbf u_2,\cdots,\lambda_n\mathbf u_n)
\begin{bmatrix}\mathbf u_1^T\\\mathbf u_2^T\\\vdots\\\mathbf u_n^T\end{bmatrix} \\
&=\lambda_1\mathbf u_1\mathbf u_1^T+\lambda_2\mathbf u_2\mathbf u_2^T+\cdots+\lambda_n\mathbf u_n\mathbf u_n^T
\end{aligned}
A = P Λ P − 1 = ( u 1 , u 2 , ⋯ , u n ) ⎣ ⎢ ⎢ ⎡ λ 1 λ 2 ⋱ λ n ⎦ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎢ ⎡ u 1 T u 2 T ⋮ u n T ⎦ ⎥ ⎥ ⎥ ⎤ = ( λ 1 u 1 , λ 2 u 2 , ⋯ , λ n u n ) ⎣ ⎢ ⎢ ⎢ ⎡ u 1 T u 2 T ⋮ u n T ⎦ ⎥ ⎥ ⎥ ⎤ = λ 1 u 1 u 1 T + λ 2 u 2 u 2 T + ⋯ + λ n u n u n T
由于它将 A A A A A A A A A A A A 谱分解 。 上式中的每一项都是一个秩为1的 n n n λ 1 u 1 u 1 T \lambda_1\mathbf u_1\mathbf u_1^T λ 1 u 1 u 1 T u 1 \mathbf u_1 u 1
Grant：二次型研究的是二次曲面在不同基下的坐标变换
由解析几何的知识，我们了解到二次函数的一次项和常数项只是对函数图像进行平移，并不会改变图形的形状和大小。以一元二次函数为例
而二次函数的二次项控制函数图像的大小和形状。以二元二次函数为例，观察 f ( x , y ) = 1 f(x,y)=1 f ( x , y ) = 1
线性代数主要研究这些图形的二次项，通过线性变换使二次曲面变得规范简洁。
定义 ：n n n
f ( x 1 , ⋯ , x n ) = a 11 x 1 2 + 2 a 12 x 1 x 2 + ⋯ + 2 a 1 n x 1 x n + a 22 x 2 2 + 2 a 23 x 2 x 3 + ⋯ + 2 a 2 n x 2 x n + a n n x n 2 \begin{aligned}
f(x_1,\cdots,x_n)=&a_{11}x_1^2+2a_{12}x_1x_2+\cdots+2a_{1n}x_1x_n \\
&+a_{22}x_2^2+2a_{23}x_2x_3+\cdots+2a_{2n}x_2x_n \\
&+a_{nn}x_n^2
\end{aligned}
f ( x 1 , ⋯ , x n ) = a 1 1 x 1 2 + 2 a 1 2 x 1 x 2 + ⋯ + 2 a 1 n x 1 x n + a 2 2 x 2 2 + 2 a 2 3 x 2 x 3 + ⋯ + 2 a 2 n x 2 x n + a n n x n 2
称为二次型 (quadratic form)，这其实是二次曲面在一组坐标基下的解析表达式。
利用矩阵乘法，二次型可简记为
f = [ x 1 x 2 ⋯ x n ] [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ] [ x 1 x 2 ⋮ x n ] = x T A x f=\begin{bmatrix}x_1&x_2&\cdots&x_n\end{bmatrix}
\begin{bmatrix}
a_{11}&a_{12}&\cdots&a_{1n} \\
a_{21}&a_{22}&\cdots&a_{2n} \\
\vdots&\vdots&\ddots&\vdots \\
a_{m1}&a_{m2}&\cdots&a_{mn} \\
\end{bmatrix}
\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}
=\mathbf x^TA\mathbf x
f = [ x 1 x 2 ⋯ x n ] ⎣ ⎢ ⎢ ⎢ ⎡ a 1 1 a 2 1 ⋮ a m 1 a 1 2 a 2 2 ⋮ a m 2 ⋯ ⋯ ⋱ ⋯ a 1 n a 2 n ⋮ a m n ⎦ ⎥ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎢ ⎡ x 1 x 2 ⋮ x n ⎦ ⎥ ⎥ ⎥ ⎤ = x T A x
其中 A A A a i j = a j i a_{ij}=a_{ji} a i j = a j i x i x j x_ix_j x i x j 2 a i j 2a_{ij} 2 a i j A A A f f f A A A
在某些情况下，没有交叉乘积项的二次型会更容易使用，即通过线性变换 x = C y \mathbf x=C\mathbf y x = C y
f = x T A x = x = C y y T ( C T A C ) y = y T Λ y f=\mathbf x^TA\mathbf x\xlongequal{\mathbf x=C\mathbf y}\mathbf y^T(C^TAC)\mathbf y=\mathbf y^T\Lambda\mathbf y
f = x T A x x = C y y T ( C T A C ) y = y T Λ y
由于矩阵 A A A C C C
C − 1 A C = C T A C = Λ C^{-1}AC=C^TAC=\Lambda
C − 1 A C = C T A C = Λ
而 Λ \Lambda Λ A A A
f = λ 1 y 1 2 + λ 2 y 2 2 + ⋯ + λ n y n 2 f=\lambda_1y_1^2+\lambda_2y_2^2+\cdots+\lambda_ny_n^2
f = λ 1 y 1 2 + λ 2 y 2 2 + ⋯ + λ n y n 2
这种只含平方项的二次型称为标准型 (standard form)。显然，标准形的矩阵是对角阵。任何二次型都可通过正交变换化为标准型 。系数全为 +1,-1或 0 的标准型叫做规范型 (gauge form)。
定义 ：设A A A B B B n n n n n n C C C
B = C T A C B=C^TAC
B = C T A C
则称矩阵A A A B B B 合同 ，记为 A ≃ B A\simeq B A ≃ B
性质 ：设矩阵 A ≃ B A\simeq B A ≃ B
若 A A A B B B
合同矩阵的秩相等 rank ( A ) = rank ( B ) \text{rank}(A)=\text{rank}(B) rank ( A ) = rank ( B )
化二次型为标准型的三种方法：
求矩阵 A A A
使用多项式配方法化为标准型；
使用初等变换法将上方的矩阵 A A A
[ A I ] → [ C T A C C ] \begin{bmatrix}A\\I\end{bmatrix}\xrightarrow{}\begin{bmatrix}C^TAC\\C\end{bmatrix}
[ A I ] [ C T A C C ]
例：将椭圆方程 5 x 1 2 − 4 x 1 x 2 + 5 x 2 2 = 48 5x_1^2-4x_1x_2+5x_2^2=48 5 x 1 2 − 4 x 1 x 2 + 5 x 2 2 = 4 8
解：二次型的矩阵 A = [ 5 − 2 − 2 5 ] A=\begin{bmatrix}5&-2\\-2&5\end{bmatrix} A = [ 5 − 2 − 2 5 ]
u 1 = [ 1 / 2 1 / 2 ] , u 2 = [ − 1 / 2 1 / 2 ] \mathbf u_1=\begin{bmatrix}1/\sqrt{2}\\1/\sqrt{2}\end{bmatrix},
\mathbf u_2=\begin{bmatrix}-1/\sqrt{2}\\1/\sqrt{2}\end{bmatrix}
u 1 = [ 1 / 2 1 / 2 ] , u 2 = [ − 1 / 2 1 / 2 ]
可使用特征向量 u 1 , u 2 \mathbf u_1,\mathbf u_2 u 1 , u 2
C = ( u 1 , u 2 ) = [ 1 / 2 − 1 / 2 1 / 2 1 / 2 ] , Λ = [ 3 0 0 7 ] C=(\mathbf u_1,\mathbf u_2)=\begin{bmatrix}1/\sqrt{2}&-1/\sqrt{2}\\1/\sqrt{2}&1/\sqrt{2}\end{bmatrix},\quad \Lambda=\begin{bmatrix}3&0\\0&7\end{bmatrix}
C = ( u 1 , u 2 ) = [ 1 / 2 1 / 2 − 1 / 2 1 / 2 ] , Λ = [ 3 0 0 7 ]
C C C A A A Λ = C T A C \Lambda=C^TAC Λ = C T A C x = P y \mathbf x=P\mathbf y x = P y
y T C y = 3 y 1 2 + 7 y 2 2 \mathbf y^TC\mathbf y=3y_1^2+7y_2^2
y T C y = 3 y 1 2 + 7 y 2 2
新的坐标轴如图
定义 ：设二次型f = x T A x f=\mathbf x^TA\mathbf x f = x T A x x ≠ 0 \mathbf x\neq 0 x = 0
都有 f ( x ) > 0 f(\mathbf x)>0 f ( x ) > 0 f f f 正定二次型 ，称 A A A 正定矩阵 ；
都有 f ( x ) < 0 f(\mathbf x)<0 f ( x ) < 0 f f f 负定二次型 ，称 A A A 负定矩阵 ；
如果 f ( x ) f(\mathbf x) f ( x ) 不定二次型 ；
从上节可以看出二次型的标准型是不唯一的，但二次型的秩是唯一的，在化成标准型的过程中是不变的，即标准型中含有的非零平方项的个数是不变的。
惯性定理 ：二次型和标准型中系数为正的平方项的个数相同，称为正惯性指数 ；系数为负的平方项的个数也相同，称为负惯性指数 ；正负惯性指数之差称为符号差 。
定理 ：
n n n n n n 对称阵A A A ⟺ \iff ⟺ ⟺ \iff ⟺ A ≃ I A\simeq I A ≃ I
对称阵A A A ⟹ \implies ⟹ A − 1 A^{-1} A − 1
Grant：合同矩阵为不同坐标系下的度量矩阵。
以二维空间为例，Grant 选用标准坐标系下的基向量 i , j \mathbf i,\mathbf j i , j
A = [ ⟨ i , i ⟩ ⟨ i , j ⟩ ⟨ j , i ⟩ ⟨ j , j ⟩ ] A=\begin{bmatrix} \lang\mathbf i,\mathbf i\rang&\lang\mathbf i,\mathbf j\rang \\ \lang\mathbf j,\mathbf i\rang&\lang\mathbf j,\mathbf j\rang \end{bmatrix}
A = [ ⟨ i , i ⟩ ⟨ j , i ⟩ ⟨ i , j ⟩ ⟨ j , j ⟩ ]
而 Jennifer 使用另外一组基向量 i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′ P = [ a b c d ] P=\begin{bmatrix} a&b \\ c&d \end{bmatrix} P = [ a c b d ] i ′ , j ′ \mathbf i',\mathbf j' i ′ , j ′
p 1 = [ a c ] , p 2 = [ b d ] \mathbf p_1=\begin{bmatrix} a \\ c \end{bmatrix},\quad
\mathbf p_2=\begin{bmatrix} b \\ d \end{bmatrix}
p 1 = [ a c ] , p 2 = [ b d ]
因此， Jennifer 的基向量间的内积
⟨ i ′ , i ′ ⟩ = p 1 T A p 1 ⟨ i ′ , j ′ ⟩ = p 1 T A p 2 ⟨ j ′ , i ′ ⟩ = p 2 T A p 1 ⟨ j ′ , j ′ ⟩ = p 2 T A p 2 \lang\mathbf i',\mathbf i'\rang=\mathbf p_1^TA\mathbf p_1\\
\lang\mathbf i',\mathbf j'\rang=\mathbf p_1^TA\mathbf p_2 \\
\lang\mathbf j',\mathbf i'\rang=\mathbf p_2^TA\mathbf p_1 \\
\lang\mathbf j',\mathbf j'\rang=\mathbf p_2^TA\mathbf p_2
⟨ i ′ , i ′ ⟩ = p 1 T A p 1 ⟨ i ′ , j ′ ⟩ = p 1 T A p 2 ⟨ j ′ , i ′ ⟩ = p 2 T A p 1 ⟨ j ′ , j ′ ⟩ = p 2 T A p 2
于是，Jennifer坐标系的度量矩阵
B = [ p 1 T A p 1 p 1 T A p 2 p 2 T A p 1 p 2 T A p 2 ] = [ p 1 T p 2 T ] A [ p 1 p 2 ] = P T A P B=\begin{bmatrix} \mathbf p_1^TA\mathbf p_1&\mathbf p_1^TA\mathbf p_2 \\
\mathbf p_2^TA\mathbf p_1&\mathbf p_2^TA\mathbf p_2 \end{bmatrix}=
\begin{bmatrix} \mathbf p_1^T \\ \mathbf p_2^T \end{bmatrix}A\begin{bmatrix} \mathbf p_1 & \mathbf p_2 \end{bmatrix}
=P^TAP
B = [ p 1 T A p 1 p 2 T A p 1 p 1 T A p 2 p 2 T A p 2 ] = [ p 1 T p 2 T ] A [ p 1 p 2 ] = P T A P
由此可知，合同矩阵刻画了两度量矩阵间的关系 。
当然，也可通过两个向量的内积在不同的坐标系中的计算公式获得两个度量矩阵间的关系。由过渡矩阵知道，同一个向量从 Jennifer 的坐标到 Grant 的坐标变换公式为
y = P x \mathbf y=P\mathbf x
y = P x
在 Jennifer 的坐标系中，两向量 u , v \mathbf u,\mathbf v u , v x 1 , x 2 \mathbf x_1,\mathbf x_2 x 1 , x 2 B B B
⟨ u , v ⟩ = x 1 T B x 2 \lang\mathbf u,\mathbf v\rang=\mathbf x_1^TB\mathbf x_2
⟨ u , v ⟩ = x 1 T B x 2
在 Grant 的坐标系中，两向量 u , v \mathbf u,\mathbf v u , v y 1 , y 2 \mathbf y_1,\mathbf y_2 y 1 , y 2 A A A
⟨ u , v ⟩ = y 1 T A y 2 = ( P x 1 ) T A ( P x 2 ) = x 1 T ( P T A P ) x 2 \lang\mathbf u,\mathbf v\rang=\mathbf y_1^TA\mathbf y_2
=(P\mathbf x_1)^TA(P\mathbf x_2)=\mathbf x_1^T(P^TAP)\mathbf x_2
⟨ u , v ⟩ = y 1 T A y 2 = ( P x 1 ) T A ( P x 2 ) = x 1 T ( P T A P ) x 2
于是，我们得到了两坐标系中度量矩阵的关系
B = P T A P B=P^TAP
B = P T A P
矩阵的因式分解是把矩阵表示为多个矩阵的乘积，这种结构更便于理解和计算。
设 A A A m × n m\times n m × n A A A
A = L U A=LU
A = L U
其中，L L L m m m U U U A A A LU分解 。 L L L
我们先来看看，LU分解的一个应用。当 A = L U A=LU A = L U A x = b A\mathbf x=\mathbf b A x = b L ( U x ) = b L(U\mathbf x)=\mathbf b L ( U x ) = b
L y = b U x = y L\mathbf y=\mathbf b \\
U\mathbf x=\mathbf y
L y = b U x = y
因为 L L L U U U
LU 分解算法 ：本节只讲述仅用行倍加变换求解。可以证明，单位下三角矩阵的乘积和逆也是单位下三角矩阵 。此时，可以用行倍加变换寻找 L L L U U U P 1 , ⋯ , P s P_1,\cdots,P_s P 1 , ⋯ , P s
P 1 ⋯ P s A = U P_1\cdots P_sA=U
P 1 ⋯ P s A = U
于是便得到了 U U U L L L
L = ( P 1 , ⋯ , P s ) − 1 L=(P_1,\cdots,P_s)^{-1}
L = ( P 1 , ⋯ , P s ) − 1
如果 m × n m\times n m × n A A A A A A A = Q R A=QR A = Q R Q Q Q m × n m\times n m × n col A \text{col }A col A R R R n × n n\times n n × n
证：矩阵 A = ( x 1 , x 2 , ⋯ , x n ) A=(\mathbf x_1,\mathbf x_2,\cdots,\mathbf x_n) A = ( x 1 , x 2 , ⋯ , x n ) col A \text{col }A col A u 1 , u 2 , ⋯ , u n \mathbf u_1,\mathbf u_2,\cdots,\mathbf u_n u 1 , u 2 , ⋯ , u n
Q = ( u 1 , u 2 , ⋯ , u n ) Q=(\mathbf u_1,\mathbf u_2,\cdots,\mathbf u_n)
Q = ( u 1 , u 2 , ⋯ , u n )
因为在正交化过程中 x k ∈ span { x 1 , ⋯ , x k } = span { u 1 , ⋯ , u k } , k = 1 , 2 , ⋯ , n \mathbf x_k\in\text{span}\{\mathbf x_1,\cdots,\mathbf x_k\}=\text{span}\{\mathbf u_1,\cdots,\mathbf u_k\},\quad k=1,2,\cdots,n x k ∈ span { x 1 , ⋯ , x k } = span { u 1 , ⋯ , u k } , k = 1 , 2 , ⋯ , n x k \mathbf x_k x k
x k = r 1 k u 1 + ⋯ + r k k u k + 0 ⋅ u k + 1 + ⋯ + 0 ⋅ u n \mathbf x_k=r_{1k}\mathbf u_1+\cdots+r_{kk}\mathbf u_k+0\cdot\mathbf u_{k+1}+\cdots+0\cdot\mathbf u_n
x k = r 1 k u 1 + ⋯ + r k k u k + 0 ⋅ u k + 1 + ⋯ + 0 ⋅ u n
于是
x k = Q r k \mathbf x_k=Q\mathbf r_k
x k = Q r k
其中 r k = ( r 1 k , ⋯ , r k k , 0 , ⋯ , 0 ) T \mathbf r_k=(r_{1k},\cdots,r_{kk},0,\cdots,0)^T r k = ( r 1 k , ⋯ , r k k , 0 , ⋯ , 0 ) T r k k ⩾ 0 r_{kk}\geqslant 0 r k k ⩾ 0 r k k < 0 r_{kk}<0 r k k < 0 r k k r_{kk} r k k u k \mathbf u_k u k R = ( r 1 , r 2 , ⋯ , r n ) R=(\mathbf r_1,\mathbf r_2,\cdots,\mathbf r_n) R = ( r 1 , r 2 , ⋯ , r n )
A = ( Q r 1 , Q r 2 , ⋯ , Q r n ) = Q R A=(Q\mathbf r_1,Q\mathbf r_2,\cdots,Q\mathbf r_n)=QR
A = ( Q r 1 , Q r 2 , ⋯ , Q r n ) = Q R
例：求 A = [ 1 0 0 1 1 0 1 1 1 1 1 1 ] A=\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\\1&1&1\end{bmatrix} A = ⎣ ⎢ ⎢ ⎡ 1 1 1 1 0 1 1 1 0 0 1 1 ⎦ ⎥ ⎥ ⎤
解：通过施密特正交化方法我们可以得到 col A \text{col }A col A
Q = [ 1 / 2 − 3 / 12 0 1 / 2 1 / 12 − 2 / 6 1 / 2 1 / 12 1 / 6 1 / 2 1 / 12 1 / 6 ] Q=\begin{bmatrix}1/2&-3/\sqrt{12}&0\\1/2&1/\sqrt{12}&-2/\sqrt{6}\\1/2&1/\sqrt{12}&1/\sqrt{6}\\1/2&1/\sqrt{12}&1/\sqrt{6}\end{bmatrix}
Q = ⎣ ⎢ ⎢ ⎡ 1 / 2 1 / 2 1 / 2 1 / 2 − 3 / 1 2 1 / 1 2 1 / 1 2 1 / 1 2 0 − 2 / 6 1 / 6 1 / 6 ⎦ ⎥ ⎥ ⎤
注意到 Q Q Q Q T = Q − 1 Q^T=Q^{-1} Q T = Q − 1 R = Q − 1 A = Q T A R=Q^{-1}A=Q^TA R = Q − 1 A = Q T A
R = [ 1 / 2 1 / 2 1 / 2 1 / 2 − 3 / 12 1 / 12 1 / 12 1 / 12 0 − 2 / 6 1 / 6 1 / 6 ] [ 1 0 0 1 1 0 1 1 1 1 1 1 ] = [ 2 3 / 2 1 0 3 / 12 2 / 12 0 0 2 / 6 ] R=\begin{bmatrix}1/2&1/2&1/2&1/2\\
-3/\sqrt{12}&1/\sqrt{12}&1/\sqrt{12}&1/\sqrt{12} \\
0&-2/\sqrt{6}&1/\sqrt{6}&1/\sqrt{6}
\end{bmatrix}
\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\\1&1&1\end{bmatrix}=
\begin{bmatrix}2&3/2&1\\0&3/\sqrt{12}&2/\sqrt{12}\\0&0&2/\sqrt{6} \end{bmatrix}
R = ⎣ ⎡ 1 / 2 − 3 / 1 2 0 1 / 2 1 / 1 2 − 2 / 6 1 / 2 1 / 1 2 1 / 6 1 / 2 1 / 1 2 1 / 6 ⎦ ⎤ ⎣ ⎢ ⎢ ⎡ 1 1 1 1 0 1 1 1 0 0 1 1 ⎦ ⎥ ⎥ ⎤ = ⎣ ⎡ 2 0 0 3 / 2 3 / 1 2 0 1 2 / 1 2 2 / 6 ⎦ ⎤
特征值分解是将矩阵分解成特征值和特征向量形式：
A = Q Σ Q − 1 A=Q\Sigma Q^{-1}
A = Q Σ Q − 1
其中，Σ = diag ( λ 1 , λ 2 , ⋯ , λ n ) \Sigma=\text{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n) Σ = diag ( λ 1 , λ 2 , ⋯ , λ n ) A A A λ 1 ⩾ λ 2 ⩾ ⋯ ⩾ λ n \lambda_1\geqslant\lambda_2\geqslant\cdots\geqslant\lambda_n λ 1 ⩾ λ 2 ⩾ ⋯ ⩾ λ n Q = ( u 1 , u 2 , … , u n ) Q=(\mathbf u_1,\mathbf u_2,\dots,\mathbf u_n) Q = ( u 1 , u 2 , … , u n )
特征值分解后，方阵的幂变得更容易计算
A t = Q Σ t Q − 1 = Q [ λ 1 t ⋱ λ n t ] Q − 1 A^t=Q\Sigma^t Q^{-1}=Q\begin{bmatrix}\lambda_1^t\\&\ddots\\&&\lambda_n^t\end{bmatrix}Q^{-1}
A t = Q Σ t Q − 1 = Q ⎣ ⎡ λ 1 t ⋱ λ n t ⎦ ⎤ Q − 1
特征值分解可以理解为：先切换基向量，然后伸缩变换，最后再切换回原来的基向量。其中，Σ \Sigma Σ
特征值分解有一定的局限性，因为它只适用于满秩的方阵。
例：求矩阵 A = [ − 2 1 1 0 2 0 − 4 1 3 ] A=\begin{bmatrix}-2&1&1\\0&2&0\\-4&1&3\end{bmatrix} A = ⎣ ⎡ − 2 0 − 4 1 2 1 1 0 3 ⎦ ⎤
解：矩阵 A A A det ( A − λ I ) = − ( λ − 2 ) 2 ( λ + 1 ) \det(A-\lambda I)=-(\lambda-2)^2(\lambda+1) det ( A − λ I ) = − ( λ − 2 ) 2 ( λ + 1 )
λ 1 = − 1 : u 1 = [ 1 0 1 ] ; λ 2 = 2 : u 2 = [ 0 1 − 1 ] , u 3 = [ 1 0 4 ] \lambda_1=-1:\mathbf u_1=\begin{bmatrix}1\\0\\1\end{bmatrix};\quad
\lambda_2=2:\mathbf u_2=\begin{bmatrix}0\\1\\-1\end{bmatrix},
\mathbf u_3=\begin{bmatrix}1\\0\\4\end{bmatrix}
λ 1 = − 1 : u 1 = ⎣ ⎡ 1 0 1 ⎦ ⎤ ; λ 2 = 2 : u 2 = ⎣ ⎡ 0 1 − 1 ⎦ ⎤ , u 3 = ⎣ ⎡ 1 0 4 ⎦ ⎤
可通过行变换计算逆矩阵
( Q , I ) = [ 0 1 1 1 0 0 1 0 0 0 1 0 − 1 4 1 0 0 1 ] → [ 1 0 0 0 1 0 0 1 0 − 1 / 3 1 / 3 1 / 3 0 0 1 4 / 3 − 1 / 3 − 1 / 3 ] = ( I , Q − 1 ) (Q,I)=\begin{bmatrix}\begin{array}{ccc:ccc}
0&1&1&1&0&0\\1&0&0&0&1&0\\-1&4&1&0&0&1
\end{array}\end{bmatrix}\to
\begin{bmatrix}\begin{array}{ccc:ccc}
1&0&0&0&1&0\\0&1&0&-1/3&1/3&1/3\\0&0&1&4/3&-1/3&-1/3
\end{array}\end{bmatrix}=(I,Q^{-1})
( Q , I ) = ⎣ ⎡ 0 1 − 1 1 0 4 1 0 1 1 0 0 0 1 0 0 0 1 ⎦ ⎤ → ⎣ ⎡ 1 0 0 0 1 0 0 0 1 0 − 1 / 3 4 / 3 1 1 / 3 − 1 / 3 0 1 / 3 − 1 / 3 ⎦ ⎤ = ( I , Q − 1 )
所以
A = [ 0 1 1 1 0 0 − 1 4 1 ] [ 2 0 0 0 2 0 0 0 − 1 ] [ 0 1 0 − 1 / 3 1 / 3 1 / 3 4 / 3 − 1 / 3 − 1 / 3 ] A=\begin{bmatrix}0&1&1\\1&0&0\\-1&4&1\end{bmatrix}
\begin{bmatrix}2&0&0\\0&2&0\\0&0&-1\end{bmatrix}
\begin{bmatrix}0&1&0\\-1/3&1/3&1/3\\4/3&-1/3&-1/3\end{bmatrix}
A = ⎣ ⎡ 0 1 − 1 1 0 4 1 0 1 ⎦ ⎤ ⎣ ⎡ 2 0 0 0 2 0 0 0 − 1 ⎦ ⎤ ⎣ ⎡ 0 − 1 / 3 4 / 3 1 1 / 3 − 1 / 3 0 1 / 3 − 1 / 3 ⎦ ⎤
奇异值分解(Singular Value Decomposition, SVD)是线性代数中一种重要的矩阵分解，在生物信息学、信号处理、金融学、统计学等领域有重要应用。
SVD 可以理解为同一线性变换 T : R n ↦ R m T:\R^n\mapsto\R^m T : R n ↦ R m A m × n A_{m\times n} A m × n Σ m × n \Sigma_{m\times n} Σ m × n
假定 Jennifer 使用矩阵 V n = ( v 1 , ⋯ , v n ) V_n=(\mathbf v_1,\cdots,\mathbf v_n) V n = ( v 1 , ⋯ , v n ) R n R^n R n U n = ( u 1 , ⋯ , u m ) U_n=(\mathbf u_1,\cdots,\mathbf u_m) U n = ( u 1 , ⋯ , u m ) R m R^m R m x ∈ R n \mathbf x\in R^n x ∈ R n
同样的向量，用 Grant 的坐标系表示为 V x V\mathbf x V x
用 Grant 的语言描述变换后的向量 A V x AV\mathbf x A V x
将变换后的结果变回 Jennifer 的坐标系 U − 1 A V x U^{-1}AV\mathbf x U − 1 A V x
于是，我们得到同一个线性变换 T T T Σ = U − 1 A V \Sigma=U^{-1}AV Σ = U − 1 A V A A A A m × n = U m Σ m × n V n − 1 A_{m\times n}=U_m\Sigma_{m\times n}V^{-1}_n A m × n = U m Σ m × n V n − 1
接下来，自然是探讨上述矩阵分解的适用条件。
注意到
A T A = ( U Σ V − 1 ) T ( U Σ V − 1 ) = V − T Σ T U T U Σ V − 1 A^TA=(U\Sigma V^{-1})^T(U\Sigma V^{-1})=V^{-T}\Sigma^TU^TU\Sigma V^{-1}
A T A = ( U Σ V − 1 ) T ( U Σ V − 1 ) = V − T Σ T U T U Σ V − 1
不妨取 U , V U,V U , V U , V U,V U , V U T U = I , V T V = I U^TU=I,V^TV=I U T U = I , V T V = I
A T A = V Σ T Σ V T A^TA=V\Sigma^T\Sigma V^T
A T A = V Σ T Σ V T
于是，可知 V V V A T A A^TA A T A Σ T Σ \Sigma^T\Sigma Σ T Σ n n n A T A A^TA A T A A T A A^TA A T A V V V
同理
A A T = U Σ Σ T U T AA^T=U\Sigma\Sigma^T U^T
A A T = U Σ Σ T U T
可知 U U U A A T AA^T A A T Σ Σ T \Sigma\Sigma^T Σ Σ T m m m A A T AA^T A A T A T A A^TA A T A U U U
目前 U , V U,V U , V Σ \Sigma Σ A T A A^TA A T A A A T AA^T A A T
令 Σ = [ Λ r O O O ] \Sigma=\begin{bmatrix}\Lambda_r&O\\O&O\end{bmatrix} Σ = [ Λ r O O O ] Λ r = diag ( σ 1 , ⋯ , σ r ) \Lambda_r=\text{diag}(\sigma_1,\cdots,\sigma_r) Λ r = diag ( σ 1 , ⋯ , σ r )
Σ T Σ = [ Λ r 2 O O O ] n , Σ Σ T = [ Λ r 2 O O O ] m \Sigma^T\Sigma=\begin{bmatrix}\Lambda_r^2&O\\O&O\end{bmatrix}_n,\quad
\Sigma\Sigma^T=\begin{bmatrix}\Lambda_r^2&O\\O&O\end{bmatrix}_m
Σ T Σ = [ Λ r 2 O O O ] n , Σ Σ T = [ Λ r 2 O O O ] m
其中 Λ r 2 = diag ( σ 1 2 , ⋯ , σ r 2 ) \Lambda_r^2=\text{diag}(\sigma_1^2,\cdots,\sigma_r^2) Λ r 2 = diag ( σ 1 2 , ⋯ , σ r 2 ) Σ \Sigma Σ A T A A^TA A T A A A T AA^T A A T λ j \lambda_j λ j
σ j = λ j \sigma_j=\sqrt{\lambda_j}
σ j = λ j
综上，任意矩阵均可奇异值分解 。
定义 ：SVD是指将秩为 r r r m × n m\times n m × n A A A
A = U Σ V T A=U\Sigma V^T
A = U Σ V T
其中 U U U m m m V V V n n n Σ \Sigma Σ m × n m\times n m × n A A A 奇异值 ，一般按降序排列 σ 1 ⩾ σ 2 ⩾ ⋯ ⩾ σ r > 0 \sigma_1\geqslant\sigma_2\geqslant\cdots\geqslant\sigma_r>0 σ 1 ⩾ σ 2 ⩾ ⋯ ⩾ σ r > 0 Σ \Sigma Σ U U U 左奇异向量 (left singular vector)，矩阵 V V V 右奇异向量 (right singular vector)。
例：这里我们用一个简单的矩阵来说明奇异值分解的步骤。求矩阵 A = [ 0 1 1 1 1 0 ] A=\begin{bmatrix}0&1\\1&1\\1&0\end{bmatrix} A = ⎣ ⎡ 0 1 1 1 1 0 ⎦ ⎤
解：首先求出对称阵 A T A A^TA A T A A A T AA^T A A T
A T A = [ 0 1 1 1 1 0 ] [ 0 1 1 1 1 0 ] = [ 2 1 1 2 ] A A T = [ 0 1 1 1 1 0 ] [ 0 1 1 1 1 0 ] = [ 1 1 0 1 2 1 0 1 1 ] A^TA=\begin{bmatrix}0&1&1\\1&1&0\end{bmatrix}
\begin{bmatrix}0&1\\1&1\\1&0\end{bmatrix}=
\begin{bmatrix}2&1\\1&2\end{bmatrix} \\
AA^T=\begin{bmatrix}0&1\\1&1\\1&0\end{bmatrix}
\begin{bmatrix}0&1&1\\1&1&0\end{bmatrix}=
\begin{bmatrix}1&1&0\\1&2&1\\0&1&1\end{bmatrix}
A T A = [ 0 1 1 1 1 0 ] ⎣ ⎡ 0 1 1 1 1 0 ⎦ ⎤ = [ 2 1 1 2 ] A A T = ⎣ ⎡ 0 1 1 1 1 0 ⎦ ⎤ [ 0 1 1 1 1 0 ] = ⎣ ⎡ 1 1 0 1 2 1 0 1 1 ⎦ ⎤
然后求出 A T A A^TA A T A
λ 1 = 3 : v 1 = [ 1 / 2 1 / 2 ] ; λ 2 = 1 : v 2 = [ − 1 / 2 1 / 2 ] \lambda_1=3:\mathbf v_1=\begin{bmatrix}1/\sqrt{2}\\1/\sqrt{2}\end{bmatrix};\quad
\lambda_2=1:\mathbf v_2=\begin{bmatrix}-1/\sqrt{2}\\1/\sqrt{2}\end{bmatrix}
λ 1 = 3 : v 1 = [ 1 / 2 1 / 2 ] ; λ 2 = 1 : v 2 = [ − 1 / 2 1 / 2 ]
求出 A A T AA^T A A T
λ 1 = 3 : u 1 = [ 1 / 6 2 / 6 1 / 6 ] ; λ 2 = 1 : u 2 = [ 1 / 2 0 − 1 / 2 ] ; λ 3 = 0 : u 3 = [ 1 / 3 − 1 / 3 1 / 3 ] ; \lambda_1=3:\mathbf u_1=\begin{bmatrix}1/\sqrt{6}\\2/\sqrt{6}\\1/\sqrt{6}\end{bmatrix};\quad
\lambda_2=1:\mathbf u_2=\begin{bmatrix}1/\sqrt{2}\\0\\-1/\sqrt{2}\end{bmatrix};\quad
\lambda_3=0:\mathbf u_3=\begin{bmatrix}1/\sqrt{3}\\-1/\sqrt{3}\\1/\sqrt{3}\end{bmatrix};
λ 1 = 3 : u 1 = ⎣ ⎡ 1 / 6 2 / 6 1 / 6 ⎦ ⎤ ; λ 2 = 1 : u 2 = ⎣ ⎡ 1 / 2 0 − 1 / 2 ⎦ ⎤ ; λ 3 = 0 : u 3 = ⎣ ⎡ 1 / 3 − 1 / 3 1 / 3 ⎦ ⎤ ;
其次可以利用 σ i = λ i \sigma_i=\sqrt{\lambda_i} σ i = λ i 3 , 1 \sqrt{3},1 3 , 1
最终得到A A A
A = U Σ V T = [ 1 / 6 1 / 2 1 / 3 2 / 6 0 − 1 / 3 1 / 6 − 1 / 2 1 / 3 ] [ 3 0 0 1 0 0 ] [ 1 / 2 1 / 2 − 1 / 2 1 / 2 ] A=U\Sigma V^T=\begin{bmatrix}1/\sqrt{6}&1/\sqrt{2}&1/\sqrt{3}\\2/\sqrt{6}&0&-1/\sqrt{3}\\1/\sqrt{6}&-1/\sqrt{2}&1/\sqrt{3}\end{bmatrix}
\begin{bmatrix}\sqrt{3}&0\\0&1\\0&0\end{bmatrix}
\begin{bmatrix}1/\sqrt{2}&1/\sqrt{2}\\-1/\sqrt{2}&1/\sqrt{2}\end{bmatrix}
A = U Σ V T = ⎣ ⎡ 1 / 6 2 / 6 1 / 6 1 / 2 0 − 1 / 2 1 / 3 − 1 / 3 1 / 3 ⎦ ⎤ ⎣ ⎡ 3 0 0 0 1 0 ⎦ ⎤ [ 1 / 2 − 1 / 2 1 / 2 1 / 2 ]
设矩阵 A = U Σ V T A=U\Sigma V^T A = U Σ V T r r r A A A
正交阵 U U U r r r col A \text{col }A col A
正交阵 U U U m − r m-r m − r ker A T \ker A^T ker A T
正交阵 V V V r r r col A T \text{col }A^T col A T
正交阵 V V V n − r n-r n − r ker A \ker A ker A
A ( v 1 , ⋯ , v r ⏟ col A T , v r + 1 ⋯ v n ⏟ ker A ) = ( u 1 , ⋯ , u r ⏟ col A , u r + 1 ⋯ u m ⏟ ker A T ) [ σ 1 ⋱ σ r O ] ⏟ Σ m × n A(\underbrace{\mathbf v_1,\cdots,\mathbf v_r}_{\text{col }A^T},\underbrace{\mathbf v_{r+1}\cdots\mathbf v_n}_{\ker A})=
(\underbrace{\mathbf u_1,\cdots,\mathbf u_r}_{\text{col }A},\underbrace{\mathbf u_{r+1}\cdots\mathbf u_m}_{\ker A^T})
\underbrace{\begin{bmatrix}\sigma_1\\&\ddots\\&&\sigma_r\\&&&O
\end{bmatrix}}_{\Sigma_{m\times n}}
A ( col A T v 1 , ⋯ , v r , ker A v r + 1 ⋯ v n ) = ( col A u 1 , ⋯ , u r , ker A T u r + 1 ⋯ u m ) Σ m × n ⎣ ⎢ ⎢ ⎡ σ 1 ⋱ σ r O ⎦ ⎥ ⎥ ⎤
证：易知 A V = U Σ AV=U\Sigma A V = U Σ
{ A v i = σ i u i , 1 ⩽ i ⩽ r A v i = 0 , r < i ⩽ n \begin{cases}
A\mathbf v_i=\sigma_i\mathbf u_i, &1\leqslant i\leqslant r \\
A\mathbf v_i=0, &r< i\leqslant n
\end{cases}
{ A v i = σ i u i , A v i = 0 , 1 ⩽ i ⩽ r r < i ⩽ n
取 v 1 , ⋯ , v n \mathbf v_1,\cdots,\mathbf v_n v 1 , ⋯ , v n R n \R^n R n ∀ x ∈ R n \forall\mathbf x\in \R^n ∀ x ∈ R n x = c 1 v 1 + ⋯ + c n v n \mathbf x=c_1\mathbf v_1+\cdots+c_n\mathbf v_n x = c 1 v 1 + ⋯ + c n v n
A x = c 1 A v 1 + ⋯ + c r A v r + c r + 1 A v r + 1 + ⋯ + c n v n = c 1 σ 1 u 1 + ⋯ + c r σ 1 u r + 0 + ⋯ + 0 \begin{aligned}
A\mathbf x&=c_1A\mathbf v_1+\cdots+c_rA\mathbf v_r+c_{r+1}A\mathbf v_{r+1}+\cdots+c_n\mathbf v_n \\
&=c_1\sigma_1\mathbf u_1+\cdots+c_r\sigma_1\mathbf u_r+0+\cdots+0
\end{aligned}
A x = c 1 A v 1 + ⋯ + c r A v r + c r + 1 A v r + 1 + ⋯ + c n v n = c 1 σ 1 u 1 + ⋯ + c r σ 1 u r + 0 + ⋯ + 0
所以 A x ∈ span { u 1 , ⋯ , u r } A\mathbf x\in\text{span}\{\mathbf u_1,\cdots,\mathbf u_r\} A x ∈ span { u 1 , ⋯ , u r } U U U r r r col A \text{col }A col A rank A = r \text{rank }A=r rank A = r x ∈ span { v r + 1 , ⋯ , v n } ⟺ A x = 0 \mathbf x\in\text{span}\{\mathbf v_{r+1},\cdots,\mathbf v_n\}\iff A\mathbf x=0 x ∈ span { v r + 1 , ⋯ , v n } ⟺ A x = 0 V V V n − r n-r n − r ker A \ker A ker A
同样通过 A T U = V Σ A^TU=V\Sigma A T U = V Σ V V V r r r col A T \text{col }A^T col A T U U U m − r m-r m − r ker A T \ker A^T ker A T
设矩阵 A = U Σ V T A=U\Sigma V^T A = U Σ V T rank A = r \text{rank }A=r rank A = r U , Σ , V U,\Sigma,V U , Σ , V
U = ( U r , U m − r ) V = ( V r , V n − r ) Σ = [ Λ r O O O ] U=(U_r,U_{m-r}) \\
V=(V_r,V_{n-r}) \\
\Sigma=\begin{bmatrix}\Lambda_r&O\\O&O\end{bmatrix}
U = ( U r , U m − r ) V = ( V r , V n − r ) Σ = [ Λ r O O O ]
其中 U r = ( u 1 , ⋯ , u r ) U_r=(\mathbf u_1,\cdots,\mathbf u_r) U r = ( u 1 , ⋯ , u r ) m × r m\times r m × r V r = ( v 1 , ⋯ , v r ) V_r=(\mathbf v_1,\cdots,\mathbf v_r) V r = ( v 1 , ⋯ , v r ) n × r n\times r n × r Λ r = diag ( σ 1 , ⋯ , σ r ) \Lambda_r=\text{diag}(\sigma_1,\cdots,\sigma_r) Λ r = diag ( σ 1 , ⋯ , σ r ) r r r
A = U r Λ r V r T A=U_r\Lambda_r V^T_r
A = U r Λ r V r T
这个分解称为简化奇异值分解 。
性质 ：
奇异值分解可理解为将线性变换分解为三个简单的变换：正交变换 V T V^T V T Σ \Sigma Σ U U U
矩阵 A A A U , V U,V U , V
令 λ \lambda λ A T A A^TA A T A v \mathbf v v
∥ A v ∥ 2 = v T A T A v = λ v T v = λ ∥ v ∥ \|A\mathbf v\|^2=\mathbf v^TA^TA\mathbf v=\lambda\mathbf v^T\mathbf v=\lambda\|\mathbf v\|
∥ A v ∥ 2 = v T A T A v = λ v T v = λ ∥ v ∥
易知 A V = U Σ AV=U\Sigma A V = U Σ A T U = V Σ T A^TU=V\Sigma^T A T U = V Σ T
A v j = σ j u j A T u j = σ j v j A\mathbf v_j=\sigma_j\mathbf u_j \\
A^T\mathbf u_j=\sigma_j\mathbf v_j
A v j = σ j u j A T u j = σ j v j
矩阵 A = U Σ V T A=U\Sigma V^T A = U Σ V T m × n m\times n m × n
A = σ 1 u 1 v 1 T + σ 2 u 2 v 2 T + ⋯ + σ r u r v r T A=\sigma_1\mathbf u_1\mathbf v_1^T+\sigma_2\mathbf u_2\mathbf v_2^T+\cdots+\sigma_r\mathbf u_r\mathbf v_r^T
A = σ 1 u 1 v 1 T + σ 2 u 2 v 2 T + ⋯ + σ r u r v r T
上式称为矩阵 A A A
在长方形对角矩阵 Σ \Sigma Σ σ 1 ⩾ σ 2 ⩾ ⋯ ⩾ σ r > 0 \sigma_1\geqslant\sigma_2\geqslant\cdots\geqslant\sigma_r>0 σ 1 ⩾ σ 2 ⩾ ⋯ ⩾ σ r > 0 k k k
奇异值分解也是一种矩阵近似的方法，这个近似是在矩阵范数意义下的近似。矩阵范数是向量范数的直接推广。
∥ A ∥ 2 = ( ∑ j = 1 n ∑ i = 1 m ∣ a i j ∣ 2 ) 1 / 2 \|A\|_2=(\sum_{j=1}^{n}\sum_{i=1}^{m} |a_{ij}|^2)^{1/2}
∥ A ∥ 2 = ( j = 1 ∑ n i = 1 ∑ m ∣ a i j ∣ 2 ) 1 / 2
可以证明
∥ A ∥ 2 2 = tr ( A T A ) = ∑ i = 1 r σ i 2 \|A\|_2^2=\text{tr}(A^TA)= \sum_{i=1}^{r} \sigma_i^2
∥ A ∥ 2 2 = tr ( A T A ) = i = 1 ∑ r σ i 2
设矩阵
A k = ∑ i = 1 k σ i u i v i T A_k=\sum_{i=1}^k\sigma_i\mathbf u_i\mathbf v_i^T
A k = i = 1 ∑ k σ i u i v i T
则 A k A_k A k k k k A k A_k A k A A A 截断奇异值分解 。并且 A k A_k A k k k k A k A_k A k
min ∥ A − X ∥ 2 s.t. rank A = k \min\|A-X\|_2 \\
\text{s.t. rank }A=k
min ∥ A − X ∥ 2 s.t. rank A = k
上式称为低秩近似(low-rank approximation)。于是奇异值分解可近似为
A ≈ ∑ i = 1 k σ i u i v i T = U m × k Σ k × k V n × k T A\approx \sum_{i=1}^k\sigma_i\mathbf u_i\mathbf v_i^T=U_{m\times k}\Sigma_{k\times k}V_{n\times k}^T
A ≈ i = 1 ∑ k σ i u i v i T = U m × k Σ k × k V n × k T
其中 k k k m m m n n n A A A k k k A A A
截断奇异值分解常用于图像压缩，如下图
矩阵 A A A a i j ∈ C a_{ij}\in\Complex a i j ∈ C
定义 ：设复矩阵 A = ( a i j ) m × n A=(a_{ij})_{m\times n} A = ( a i j ) m × n
矩阵 A ˉ = ( a i j ‾ ) \bar A=(\overline{a_{ij}}) A ˉ = ( a i j ) A A A
矩阵 A H = A ˉ T A^H=\bar A^T A H = A ˉ T A A A
若 A H = A A^H=A A H = A A A A
若 A H A = A A H = I A^HA=AA^H=I A H A = A A H = I A − 1 = A H A^{-1}=A^H A − 1 = A H A A A
复向量长度 ∥ z ∥ 2 = ∣ z 1 ∣ 2 + ∣ z 1 ∣ 2 + ⋯ + ∣ z n ∣ 2 \|\mathbf z\|^2=|z_1|^2+|z_1|^2+\cdots+|z_n|^2 ∥ z ∥ 2 = ∣ z 1 ∣ 2 + ∣ z 1 ∣ 2 + ⋯ + ∣ z n ∣ 2
内积 u H v = u ˉ 1 v 1 + u ˉ 2 v 2 + ⋯ + u ˉ n v n \mathbf u^H\mathbf v=\bar u_1v_1+\bar u_2v_2+\cdots+\bar u_nv_n u H v = u ˉ 1 v 1 + u ˉ 2 v 2 + ⋯ + u ˉ n v n
正交 u H v = 0 \mathbf u^H\mathbf v=0 u H v = 0
性质 ：
A + B ‾ = A ‾ + B ‾ \overline{A+B}=\overline A+\overline B A + B = A + B k A ‾ = k ˉ A ˉ \overline{kA}=\bar k \bar A k A = k ˉ A ˉ A B ‾ = A ˉ B ˉ \overline{AB}=\bar A\bar B A B = A ˉ B ˉ ( A B ) H = B H A H (AB)^H=B^HA^H ( A B ) H = B H A H 一般 u H v ≠ v H u \mathbf u^H\mathbf v\neq \mathbf v^H\mathbf u u H v = v H u
Hermitian 矩阵可正交对角化 A = P Λ P − 1 = P Λ P H A=P\Lambda P^{-1}=P\Lambda P^H A = P Λ P − 1 = P Λ P H
Hermitian 矩阵的每个特征值都是实数
由向量组线性相关的定义，容易得到以下结论：
(1) 向量组线性相关 ⟺ \iff ⟺ ⟺ \iff ⟺
线性等价 ：给定两个向量组
a 1 , a 2 , ⋯ , a r b 1 , b 2 , ⋯ , b s \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_r \\
\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_s
a 1 , a 2 , ⋯ , a r b 1 , b 2 , ⋯ , b s
如果其中的每个向量都能被另一个向量组线性表示，则两个向量组线性等价 。
例如，向量组 a , b , a + b \mathbf a,\mathbf b,\mathbf a+\mathbf b a , b , a + b a , b \mathbf a,\mathbf b a , b
极大线性无关组 ：从向量组 A A A r r r a 1 , a 2 , ⋯ , a r \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_r a 1 , a 2 , ⋯ , a r
(1) 部分向量组 a 1 , a 2 , ⋯ , a r \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_r a 1 , a 2 , ⋯ , a r A A A r + 1 r+1 r + 1
则称向量组 a 1 , a 2 , ⋯ , a r \mathbf a_1,\mathbf a_2,\cdots,\mathbf a_r a 1 , a 2 , ⋯ , a r 极大线性无关组 (maximum linearly independent group)。极大线性无关组包含的向量个数为向量组的秩。
性质 ：
(1) 一个向量组的极大线性无关组不一定是惟一的；秩 (rank)。全由零向量组成的向量组的秩为零；
平面叉积
[ v 1 v 2 ] × [ w 1 w 2 ] = det [ v 1 w 1 v 2 w 2 ] \begin{bmatrix}v_1\\v_2\end{bmatrix}\times\begin{bmatrix}w_1\\w_2\end{bmatrix}=\det\begin{bmatrix}v_1 & w_1\\ v_2 & w_2 \end{bmatrix}
[ v 1 v 2 ] × [ w 1 w 2 ] = det [ v 1 v 2 w 1 w 2 ]
大小等于 v , w v,w v , w
三维叉积
[ v 1 v 2 v 3 ] × [ w 1 w 2 w 3 ] = det [ i v 1 w 1 j v 2 w 2 k v 3 w 3 ] \begin{bmatrix}v_1\\v_2\\v_3\end{bmatrix}\times\begin{bmatrix}w_1\\w_2\\w_3\end{bmatrix}=\det\begin{bmatrix}\mathbf i & v_1 & w_1\\\mathbf j & v_2 & w_2 \\\mathbf k & v_3 & w_3 \end{bmatrix}
⎣ ⎡ v 1 v 2 v 3 ⎦ ⎤ × ⎣ ⎡ w 1 w 2 w 3 ⎦ ⎤ = det ⎣ ⎡ i j k v 1 v 2 v 3 w 1 w 2 w 3 ⎦ ⎤
大小等于 v , w v,w v , w
